Google DeepMind 使用大型语言模型解决纯数学中的著名未解问题
Google DeepMind 最近利用一种大型语言模型成功破解了纯数学中一个著名的未解问题。该团队在《自然》杂志上发表的论文中宣称,这是首次使用大型语言模型发现长期科学难题的解决方案,产生了之前不存在的可验证且有价值的新信息。Google DeepMind 研究副总裁 Pushmeet Kohli 表示:「这不在训练数据中——甚至以前是未知的。」
大型语言模型通常以编造事实而闻名,而不是提供新事实。Google DeepMind 的新工具 FunSearch 可能改变这一点。它表明,只要适当引导,并且舍弃它们提出的大部分内容,这些模型确实可以做出发现。
FunSearch(之所以这样命名,是因为它搜索数学函数,而不是因为它有趣)延续了 DeepMind 使用 AI 在基础数学和计算机科学领域取得的一系列发现。首先是 AlphaTensor 找到了一种加快多种不同类型代码核心计算的方法,打破了 50 年来的记录。然后是 AlphaDev 找到了加快每天使用数万亿次的关键算法的方法。
然而,这些工具并没有使用大型语言模型。它们都建立在 DeepMind 的游戏 AI AlphaZero 之上,通过将数学问题视为围棋或国际象棋中的难题来解决。问题是它们局限于自己的领域,如同公司研究员 Bernardino Romera-Paredes 所说:「AlphaTensor 擅长矩阵乘法,但基本上没有别的。」
FunSearch 采用了不同的方法。它结合了一个称为 Codey 的大型语言模型(一种在计算机代码上微调的 Google PaLM 2 版本)和其他系统,后者可以排除不正确或无意义的答案,并将好的答案重新输入。
Fawzi,Google DeepMind 的研究科学家说:「说实话,我们有假设,但我们不确切知道为什么这有效。项目开始时,我们不知道这是否会奏效。」
研究人员首先用 Python(一种流行的编程语言)勾勒出他们想要解决的问题,但省略了指定如何解决问题的程序行。这就是 FunSearch 介入的地方。它让 Codey 填补空白——实际上,提出解决问题的代码建议。
然后,第二个算法检查并评分 Codey 提出的内容。最佳建议——即使还不正确——被保存并反馈给 Codey,后者再次尝试完成程序。「许多将是无意义的,一些将是合理的,少数将是真正有启发性的,」Kohli 说。「你拿着这些真正有启发性的内容,然后说,『好的,拿着这些重复一遍。』」
经过几百万次建议和几十次整体过程的重复(历时几天),FunSearch 终于提出了一个正确且之前未知的解决 cap set 问题的代码,该问题涉及寻找某种类型集合的最大尺寸。可以想象在图表纸上绘制点。cap set 问题类似于尝试确定可以放置多少个点,而不会让其中任何三个点形成一条直线。
这个问题非常细致,但很重要。数学家们甚至不同意如何解决它,更不用说解决方案是什么了。(它还与 AlphaTensor 加速的计算——矩阵乘法——有关。)加州大学洛杉矶分校的 Terence Tao,曾获得多个数学顶级奖项,包括菲尔兹奖,他在 2007 年的博客文章中称 cap set 问题为「我最喜欢的开放性问题」。
Tao 对 FunSearch 能做的事情感到好奇。他说:「这是一个有前途的范例。这是利用大型语言模型的力量的一种有趣方式。」
与 AlphaTensor 相比,FunSearch 的一个主要优势是,理论上它可以用来找到一系列问题的解决方案。这是因为它产生代码——生成解决方案的方法,而不是解决方案本身。不同的代码将解决不同的问题。FunSearch 的结果也更容易理解。Fawzi 说,方法通常比它产生的奇怪数学解决方案更清晰。
为了测试其多功能性,研究人员使用 FunSearch 来解决另一个数学难题:bin packing 问题,该问题涉及尝试将物品尽可能少地装入箱子中。这对计算机科学的一系列应用很重要,从数据中心管理到电子商务。FunSearch 提出了一种比人类设计的方法更快的解决方案。
Tao 表示,数学家们「仍在努力弄清楚如何最好地将大型语言模型纳入我们的研究工作流程,以利用它们的力量同时减轻它们的缺点。」他说:「这当然表明了一种可能的前进方向。」
各路大神献出自定义GPT,24小时Top 9名单在这
没有GPTs做不到的,只有你想不到的。11月10日凌晨,OpenAI上线GPTs,所有的ChatGPTPlus订阅用户都可以自己定制GPT,无需任何编码知识,在聊天过程中就构建好了。发布当天,OpenAICEO山姆・奥特曼还玩了一把幽默,亲自示范如何开发一个全新的GPT应用,令人没想到的是,这个GPT竟然和马斯克的大模型产品「Grok」同名:站长网2023-11-13 21:54:470000今日AI:Stability AI不讲武德被Midjourney封禁;Claude3颠覆物理/化学;AI美女抖音带货月入5万
欢迎来到【今日AI】栏目!这里是你每天探索人工智能世界的指南,每天我们为你呈现AI领域的热点内容,聚焦开发者,助你洞悉技术趋势、了解创新AI产品应用。新鲜AI产品点击了解:https://top.aibase.com/📰🤖📢AI新鲜事Midjourney封禁StabilityAI禁止后者员工使用软件【AiBase提要:】站长网2024-03-07 17:59:500000三星电子与半导体设计领域传奇人物 Jim Keller 合作开发人工智能芯片
三星电子的半导体外包部门SamsungFoundry正在与全球人工智能市场领先的半导体初创公司展开芯片研究项目。根据7月19日的行业消息,三星Foundry最近与美国人工智能半导体初创公司Tenstorrent和Groq启动了研发项目。Foundry部门内的FoundryDesignServices团队负责这些研究任务。站长网2023-07-20 19:04:370000谷歌研究人员在 JAX 中引入了一个开源库 用于在球面上进行深度学习
Google研究人员最近推出了一个基于JAX的开源库,旨在解决在球面上进行深度学习的挑战。传统的深度学习模型通常处理平面数据,例如图像,但科学应用中的数据通常是球面数据。这个新库利用了球面卷积和交叉相关操作,以更有效地处理球面数据。站长网2023-10-11 16:46:230000百“模”混战
“面向AI时代,所有应用都值得用大模型重做一遍。”4月11日的2023阿里云峰会上,阿里巴巴集团董事会主席兼首席执行官、阿里云智能集团首席执行官张勇的这句话其实有些给他人作注之嫌,APUS创始人李涛曾说过一句更提振人心的话:几乎所有行业,都值得被人工智能重做一遍。站长网2023-04-15 09:12:000001