中国科学院提出「思维传播」框架 让大模型能够像人类一样类比思考
站长网2023-10-10 22:14:150阅
中国科学院与耶鲁大学的研究人员共同提出了一种名为「思维传播」(Thought Propagation)的全新框架,旨在提升大型神经网络模型(如GPT-4、PaLM)的推理能力,使其能够更像人类一样进行类比思考。这个框架的灵感源自人类认知,即人们在面对新问题时常常将其与已经解决的类似问题进行比较,以推导出解决策略。
论文地址:https://arxiv.org/abs/2310.03965
「思维传播」的核心思想是让模型在解决问题之前,探索与输入问题相关的类似问题,并从类似问题的解决方案中获取启发。这一过程包括三个关键阶段:
1. 提出类似问题:模型通过提示生成与输入问题相似的一组类似问题,以引导模型检索相关的经验。
2. 解决类似问题:模型使用现有的提示技术(如CoT)来解决每个类似问题。
3. 汇总解决方案:模型可以根据类比解决方案直接推断出输入问题的新解决方案,或者通过比较类比解决方案推导出高级计划或策略。
这个框架的关键创新之处在于它能够激发模型的类比思维,引导复杂的推理过程。研究人员通过多个任务的评估验证了「思维传播」的有效性,包括最短路径推理、创意写作和LLM智能体规划任务。
在最短路径推理任务中,「思维传播」显著提高了性能,生成了最优和有效的最短路径。在创意写作任务中,「思维传播」也表现出人类更喜欢的一致性。在LLM智能体规划任务中,「思维传播」提高了任务完成率。
尽管这项研究提供了有望增强大型神经网络模型推理能力的新方法,但也存在一些挑战,如生成有用的类比问题和管理长链的类比推理路径。然而,「思维传播」为改进模型的推理能力指明了新方向,有望使大型语言模型更接近人类的推理方式。
0000
评论列表
共(0)条相关推荐
云知声推出山海大模型2.0版 参数规模达千亿
云知声宣布推出山海大模型2.0版,参数规模达到千亿,增加了更多的学科类的预训练语料,训练数据(Tokens)达到两万亿(2.0T)。实测性能在C-Eval全球大模型综合性评测中超过了GPT-4,以70分的成绩进入前三甲。站长网2023-08-31 09:32:490000抖音AI扩图火出圈 网友:没想到是以这种奇怪的方式
近日,AI智能扩图在抖音平台掀起了一阵热潮,一位名为@占美丽的博主通过发布使用AI智能扩图生成的照片走红。在这些照片中,AI智能不仅将原有照片进行放大,还添加了月亮和具有魔幻意境的路灯,引起了近40万次的点赞和5万多次的转发。站长网2023-12-04 09:52:360005苹果iOS17.2.1正式版发布 修复iPhone电池电量消耗过快问题
今天凌晨,苹果向iPhone用户推送了iOS17.2.1正式版系统,此次更新包含了重要的错误修复,并解决了某些情况下电池电量较预期更快耗尽的问题。对于之前反映iOS17.2更新后iPhone续航变差的部分用户,官方此次终于给出了解决方案。如果你的iPhone存在类似续航问题,建议尽快更新至iOS17.2.1正式版,并观察续航是否恢复正常水平。站长网2023-12-20 08:31:500000出抖入淘,东方甄选没有一哥的烦恼
东方甄选又有新动作了。最近,东方甄选和淘宝正式官宣,将在8月29日进行“东方盘淘会”淘宝直播首秀。当天,新东方创始人俞敏洪、东方甄选CEO孙旭东会亲自带队,和旗下众多主播一起,从上午8点播到晚上12点,总时长达到16个小时。东方甄选想要在淘宝大干一场的决心,不言自明。站长网2023-08-29 17:51:500000李子柒或将复出?文化类短视频如何实现“轻舟已过万重山”
李子柒,被誉为古风美食第一人,消失两年之久,子柒不在江湖久矣,江湖却始终有她的传说。近日,有报道预测,李子柒或将复出了!10月7日,李子柒在“2023抖音美好奇妙夜”宣传片中短暂亮相,视频中不过寥寥几秒,却此时无声胜有声,网友们纷纷猜测,李子柒或许即将在抖音平台上正式复出。站长网2023-10-14 09:08:210000