登陆注册
9394

微软发布新型AI训练法“思想算法” 使AI更具人类思维能力

站长网2023-09-01 10:52:310

要点:

微软与弗吉尼亚理工大学合作,提出“思维算法”新训练方法,目的是使大语言模型如ChatGPT在推理上更高效、更具人类思维逻辑。

“思维算法”通过组织模型有序地探索不同解决方案,融合了人类直观认知与算法逻辑思维的优势。

研究人员认为,这种方法可以指导模型高效解决复杂实际问题,还可减少模型的碳足迹。

微软公司推出了一种名为“思维算法”(AoT)的全新AI训练方法,旨在提高大型语言模型(如ChatGPT)在推理能力方面的效率和人类相似度。

对于已经在人工智能领域进行大量投资的公司来说,这是自然的发展步骤,尤其是对OpenAI——DALL-E、ChatGPT和功能强大的GPT语言模型的创造者。

根据发表的研究论文,微软表示,AoT技术是一种潜在的游戏规则改变者,因为它“引导语言模型通过更简化的问题解决路径”。这种新颖的方法利用了“上下文学习”,使模型能够系统地以有组织的方式探索不同的解决方案。

“我们的方法优于先前的单查询方法,并与最近采用广泛树搜索的多查询方法相当。有趣的是,我们的结果表明,使用算法指导模型可以导致性能超过算法本身。”

研究人员声称,当这种技术优化其搜索过程时,模型获得了改进的“直觉”。

人机混合算法?AoT方法解决了当前上下文学习技术(如“思维链”)的限制。有时,CoT提供错误的中间步骤,而AoT则使用算法示例来指导模型,以获得更可靠的结果。

AoT从人和机器中汲取灵感,以提高生成型AI模型的性能。虽然人类在直观认知方面表现出色,但算法以其有组织的、详尽的探索而闻名。研究论文称,“思维算法”寻求将这两种方面融合起来,增强大型语言模型的推理能力。

微软表示,这种混合技术使模型能够克服人类工作记忆的限制,从而能够更全面地分析想法。

与CoT的线性推理或“思维树”(ToT)技术不同,AoT允许对子问题的不同选项进行灵活的思考,只需最少的提示就能保持有效性。它还与外部树搜索工具相媲美,有效地平衡成本和计算。

总的来说,AoT代表了从监督学习到整合搜索过程的转变。通过改进提示工程,研究人员相信这种方法可以使模型高效地解决复杂的现实世界问题,同时也减少它们的碳足迹。

鉴于其在人工智能领域的大量投资,微软似乎有能力将AoT纳入像GPT-4这样的先进系统。尽管具有挑战性,但教导语言模型以更人性化的方式进行“思考”可能会带来革命性的变革。

0000
评论列表
共(0)条