图灵巨头现身ICLR,顶会现场疯狂追星LeCun、Bengio!中国团队三大技术趋势引爆AGI新想象
【新智元导读】这几天的维也纳,上演了一场AI圈的狂欢。在ICLR2024上,图灵巨头LeCun、Bengio纷纷现身,直接让现场挤爆,变成追星现场。
这几天,AI届的盛会——ICLR在维也纳举办。
OpenAI、Meta、谷歌、智谱AI等世界前沿AI科技企业齐聚一堂。
现场名流云集,星光耀眼,走几步就能偶遇一位发过颠覆性paper的大咖。
毫无意外地,ICLR2024展厅也变成了追星现场。热闹的气氛,快把屋顶掀翻了。
图灵三巨头中的著名「e人」LeCun,提前就在X上大方公布出自己的行程,满怀期待地等着和粉丝们相见了。
![](https://i.zz5.net/images/article/2024/05/11/203135711.jpg)
在评论区,不仅有粉丝激动打卡,甚至还有准备现场递简历的。
粉丝们果然不虚此行,在现场,LeCun口若悬河地讲解,热情的观众们在周围形成密实的包围圈。
言归正传,在整个ICLR活动上,Meta团队将分享25余篇论文和两个研讨会。这次,LeCun团队在ICLR上发表了以下两篇论文。
![](https://i.zz5.net/images/article/2024/05/11/203135726.jpg)
论文地址:https://arxiv.org/abs/2305.19523
![](https://i.zz5.net/images/article/2024/05/11/203135742.jpg)
论文地址:https://arxiv.org/abs/2311.12983
另一位图灵巨头Yoshua Bengio,也显示了自己的超高人气。
现场观众总结道:「一个人真的需要在他的领域中做到独一无二,才能让他的会议室外排起如此长的队伍!」
![](https://i.zz5.net/images/article/2024/05/11/203135789.jpg)
此前LeCun和Hinton都对此发表过言辞激烈的意见,Bengio的态度似乎一直比较模糊,迫不及待想知道他对于AGI是什么看法了。在即将到来的5月11日,他就会在一场关于AGI的Workshop中发表演讲。
值得一提的是,Bengio团队也在今年的ICLR上获得了杰出论文荣誉提名。
![](https://i.zz5.net/images/article/2024/05/11/203135820.jpg)
![](https://i.zz5.net/images/article/2024/05/11/203135821.jpg)
论文地址:https://openreview.net/pdf?id=Ouj6p4ca60
谷歌Meta隔壁,智谱AI也在
现场,谷歌开源模型Gema、机器人智能体背后框架Robotics Transformers,以及其他开创性的研究一并呈现。
紧挨着Meta和谷歌,展厅中间有一家非常亮眼的公司——智谱AI。
现场的童鞋正为大家介绍GLM-4、ChatGLM等一系列研究成果。
这一系列展示,引起了众多国外学者的围观。
现场的近两千名与会嘉宾和学者,认真听了GLM大模型技术团队的介绍。
介绍内容包括了GLM系列大模型的多项前沿研究成果,涵盖数学、文生图、图像理解、视觉UI理解、Agent智能体等领域。
在现场,大家热烈讨论起了对Scaling Law的看法。而GLM团队,对此也有独到见解——
「相比模型大小或训练计算量,智能涌现和预训练损失有更加紧密的联系。」
比如,著名的OpenAI996研究员Jason Wei,认真读过智谱AI这篇讲预训练损失的论文后,表示十分赞叹。
![](https://i.zz5.net/images/article/2024/05/11/203135867.jpg)
论文中,团队通过训练30 个不同参数和数据规模LLM,评估了其在12个中英文数据集上的表现。
![](https://i.zz5.net/images/article/2024/05/11/203135898.jpg)
论文地址:https://arxiv.org/abs/2403.15796
结果观察到,只有当预训练损失低于某个阈值时,LLM会出现涌现能力。
而且,从预训练损失的角度定义「涌现能力」,效果优于仅依赖模型参数或训练量。
![](https://i.zz5.net/images/article/2024/05/11/203135914.jpg)
智谱AI的此番表现,也让越来越多外国网友意识到——
19岁获得博士的Stability AI研究主任Tanishq表示,CogVLM这类最有竞争力、为开源生态做出重大贡献的开源基础模型,就是来自中国。
![](https://i.zz5.net/images/article/2024/05/11/203135929.jpg)
这位游戏工作室的前CEO,去年就开始用CogVLM和Stable Diffusion做完整的开源版本了。
![](https://i.zz5.net/images/article/2024/05/11/203135945.jpg)
是的,自CogVLM自发布之后,其强大的能力便引起了外国网友的惊呼。
![](https://i.zz5.net/images/article/2024/05/11/203135976.jpg)
![](https://i.zz5.net/images/article/2024/05/11/203135992.jpg)
在今年1月的LLM排行榜中,也有人发现——
当时Gemini和GPT-4V远远领先于任何开源LLM,唯一一个例外,就是CogVLM。
![](https://i.zz5.net/images/article/2024/05/11/203136023.jpg)
可见,这波国产大模型出海,智谱AI已经闷声不响地在国外建立了自己的巨大影响力。
特邀演讲
展厅精彩演示之外,今年的ICLR,共邀请了七位特邀演讲嘉宾,分享他们对AI的见解。
有来自谷歌DeepMind的研究科学家Raia Hadsell,佐治亚理工学院副教授&FAIR首席科学家Devi Parik,有来自马克斯·普朗克计算机科学研究所(MPI-SWS)的主任Moritz Hardt,唯一一家中国团队是智谱AI 的GLM 大模型技术团队。
Raia Hadsell
谷歌DeepMind科学家Raia Hadsell的演讲题目是——「在人工智能发展的起伏过程中学习:通向AGI道路上的意外真理」。
![](https://i.zz5.net/images/article/2024/05/11/203136039.jpg)
经过数十年的稳定发展和偶尔的挫折后,AI正处在一个关键的拐点。
AI产品已经爆炸式地进入主流市场,我们还未触及到scaling红利的天花板,因此整个社区都在探讨下一步的方向。
在这次的演讲中,基于20多年在AI领域的经验,Raia探讨了我们对AGI发展之路的假设,如何随时间发展而变化。
与此同时,她还揭示了,在这个探索的过程中,我们得到的意外发现。
从强化学习到分布式架构,再到神经网络,已经在科学领域发挥着潜在的革命性作用。
Raia认为,通过汲取过去的经验教训,可以为AI未来的研究方向提供重要的洞见。
Devi Parikh
另一边,FAIR首席科学家Devi Parik给所有人讲述了,自己生活中的故事。
![](https://i.zz5.net/images/article/2024/05/11/203136054.jpg)
从演讲题目可见略知,Parik的分享内容,非比寻常。
在ICLR大会上,在解释为什么技术环境是现在这个样子时,大家会重点针对互联网、大数据和算力的发展,展开讨论。
然鹅,鲜有人关注那些微小,但重要的个人故事。
其实,每个人的故事,都可以汇聚成为推动技术进步的重要力量。
通过这种方式,我们可以彼此学习,相互激励。这让我们在追求目标时,更加坚韧和高效。
Moritz Hardt
德国MPI-SWS主任Moritz Hardt带来了「新兴的科学基准」的演讲。
![](https://i.zz5.net/images/article/2024/05/11/203136055.jpg)
显然,基准测试成为机器学习领域的「核心支柱」。
自20世纪80年代以来,虽然人类在这个研究范式下取得了诸多成就,但对其深层次的理解仍然有限。
在此次演讲中,Hardt通过一系列选定的实证研究和理论分析,探索基准测试作为一门新兴科学的基本原理。
他具体讨论了标注错误对数据质量的影响、模型排名的外部验证性,以及多任务基准测试的前景。
与此同时,Hard还展示了许多案例研究。
这些挑战了我们的传统看法,还突显了发展科学基准测试的重要性和益处。
GLM Team
中国这边,智谱AI的GLM大模型技术团队,也带来了「ChatGLM通往AGI之路」的精彩演讲。
值得一提的是,这也是国内「首次」在国际顶级会议上展示大模型相关的主题演讲。
![](https://i.zz5.net/images/article/2024/05/11/203136085.jpg)
这次演讲,首先从中国的角度,介绍AI在过去几十年的发展历程。
同时,他们以ChatGLM为例,阐述自身在实践过程中获得的理解和洞见。
2024AGI前瞻:GLM4.5、 GLM-OS、 GLM-zero
在ICLR上,GLM大模型团队介绍了面向AGI的GLM三大技术趋势。
通往AGI的必经之路在哪里?
业界对此意见不一。有人认为是智能体,有人认为是多模态,有人说,Scaling Law是通往AGI的必要非充分条件。
而LeCun坚持认为,LLM是通往AGI的一条歧路,靠LLM带不来AGI。
对此,团队也提出了自己的独特观点。
![](https://i.zz5.net/images/article/2024/05/11/203136086.jpg)
首先,他们讲到了GLM-4的后续升级版本,即GLM-4.5及其升级模型。
GLM-4的后续升级版,将基于超级认知(SuperIntelligence)和超级对齐(SuperAlignment)技术,同时在原生多模态领域和AI安全领域有长足进步。
GLM大模型团队认为,在通往AGI的路上,文本是最关键的基础。
而下一步,则应该把文本、图像、视频、音频等多种模态混合在一起训练,变成一个真正的「原生多模态模型」。
同时,为了解决更加复杂的问题,他们还引入了GLM-OS概念,即以大模型为中心的通用计算系统。
这一观点,与Karpathy此前提出的大模型操作系统的观点,不谋而合。
![](https://i.zz5.net/images/article/2024/05/11/203136101.jpg)
在ICLR现场,GLM大模型团队详细介绍了GLM-OS的实现方式:
基于已有的All-Tools能力,再加上内存记忆(memory)和自我反馈(self-reflection)能力,GLM-OS有望成功模仿人类的PDCA机制,即Plan-Do-Check-Act循环。
具体来说就是,首先做出计划,然后试一试形成反馈,调整规划然后再行动以期达到更好的效果。
依靠PDCA循环机制,LLM便可以自我反馈和自主进化——恰如人类自己所做的一样。
此外,GLM大模型团队还透露,自2019年以来,团队就一直在研究名为GLM-zero的技术,旨在研究人类的「无意识」学习机制。
「当人在睡觉的时候,大脑依然在无意识地学习。」
GLM大模型团队表示,「无意识」学习机制是人类认知能力的重要组成部分,包括自我学习、自我反思和自我批评。
人脑中存在着「反馈」和「决策」两个系统,分别对应着LLM大模型和内存记忆两部分。
因此,GLM-zero的相关研究将进一步拓展人类对意识、知识、学习行为的理解。
尽管还处于非常早期的研究阶段,但GLM-zero可以视为通向AGI的必经之路。
而这,也是GLM大模型团队首次向外界公开这一技术趋势。
国内顶流技术团队
2020年底,GLM大模型技术团队研发了GLM预训练架构。
2021年训练完成百亿参数模型GLM-10B,同年利用MoE架构成功训练出收敛的万亿稀疏模型。
2022年还合作研发了中英双语千亿级超大规模预训练模型GLM-130B并开源。
而过去一年里,团队几乎每3-4个月,就完成一次基座大模型的升级,目前已经更新到了GLM-4版本。
不仅如此,作为国内最早入局LLM公司,智谱AI曾在2023年就设立了一个雄心勃勃的目标——全线对标OpenAI。
GLM大模型技术团队构建了基于AGI愿景的完整大模型产品矩阵。
在GLM系列之外,还有CogView文生图模型、CodeGeeX代码模型,多模态理解模型CogVLM,再到GLM-4V多模态大模型和All-Tools功能以及AI助手智谱清言。
![](https://i.zz5.net/images/article/2024/05/11/203136117.jpg)
与此同时,GLM大模型技术团队的研究人员,在业界有着极高的影响力。
比如,圈里爆火的李飞飞主讲斯坦福大学CS25课程,每次都会邀请Transformer研究前沿的专家,分享自己的最新突破。
而目前已经确定,CS25课程的嘉宾中,就有来自智谱AI的研究员。
![](https://i.zz5.net/images/article/2024/05/11/203136132.jpg)
CogVLM
团队开发的开源视觉语言模型CogVLM,一经发布就引发了业界关注。
3月Stability AI公布的一篇论文就显示,因性能太出色,CogVLM直接被Stable Diffufion3拿来做图像标注了。
![](https://i.zz5.net/images/article/2024/05/11/203136148.jpg)
论文地址:https://arxiv.org/abs/2403.03206
![](https://i.zz5.net/images/article/2024/05/11/203136179.jpg)
CogAgent
在此基础之上,基于CogVLM改进的开源视觉语言模型CogAgent,主要针对的是用户图形界面GUI的理解。
而CogAgent的相关论文,已经被国际计算机视觉领域级别最高的学术会议CVPR2024收录。
要知道,CVPR以录取严格著称,今年论文录取率只有约2.8%。
论文地址:https://arxiv.org/abs/2312.08914
ChatGLM-Math
针对LLM解决数学问题,GLM大模型团队提出了「Self-Critique」的迭代训练方法。
即通过自我反馈机制,帮助LLM同时提升语言和数学的能力。
![](https://i.zz5.net/images/article/2024/05/11/203136195.jpg)
论文地址:https://arxiv.org/abs/2404.02893
这一方法,包含了两个关键步骤:
首先训练一个从LLM本身生成「Math-Critique」模型,以评估模型生成数学问题答案,并提供反馈信号。
其次,通过拒绝采样微调和DPO,利用新模型对LLM自身的生成进行监督。
![](https://i.zz5.net/images/article/2024/05/11/203136211.jpg)
GLM大模型团队还设计了MATHUSEREVAL基准测试集,以评估新模型数学能力,结果如下:
![](https://i.zz5.net/images/article/2024/05/11/203136226.jpg)
显而易见,新方法显著提升了LLM的数学问题解决能力,同时仍能提升其语言能力。重要的是,它在某些情况下优于参数量增加两倍的大模型。
GLM-4跻身全球第一梯队
在OpenCompass2.0基准测试中,智谱AI新一代基座大模型的实力不容小觑。
在总榜排名中,GLM-4位列第三,位居国内榜首。
![](https://i.zz5.net/images/article/2024/05/11/203136242.jpg)
在不久前SuperBench团队发布的《SuperBench大模型综合能力评测报告》中,GLM-4也跻身全球第一梯队。
特别是在最关键的语义理解,智能体能力上,GLM-4更是国内第一,力压一众竞争对手。
![](https://i.zz5.net/images/article/2024/05/11/203136258.jpg)
刚刚过去的大模型元年,热闹非凡的百模大战打了一年。
2024年,若想化身为AGI元年,全世界大模型团队还有很长的路要走。
参考资料:
https://iclr.cc/virtual/2024/invited-talk/21802
网易云音乐上线“私人DJ”功能 可通过AI推荐、讲解音乐
目前,网易云音乐已正式上线“私人DJ”功能,这项功能可以提供智能讲解服务来推荐歌曲。“私人DJ”将被打造成用户探索音乐世界的智能助手,它在传统音乐栏目的基础上,升级了个性化能力,在基于用户偏好个性化推荐歌曲的同时,也为用户讲解音乐,讲解内容包括推荐理由、歌曲解读、音乐百科等丰富内容。用户可以点击私人漫游播放器中部按钮,即可开启或关闭“私人DJ”功能。站长网2023-08-11 10:52:160000ReMax算法带来解决方案!RTX 4090限制下 提高大模型使用RLHF效率
要点:ReMax算法的关键思想:ReMax是专门为RLHF任务设计的算法,与通用RL算法PPO不同。它利用三个特性,包括快速模拟、确定性转移和轨迹级奖励,来构建梯度估计器,从而显著减少计算开销。算法的优势:ReMax相对于PPO有很多优势,包括实现简易、少量超参数、节省约50%内存、提高训练速度。这使得ReMax在大型模型上的应用更加高效。站长网2023-10-20 14:03:3900002023年.AI域名销售额达550万美元 2024年能达1000万美元吗?
**划重点:**1.💰2023年公开报道的.AI域名销售额达550万美元,2022年为90万美元,2021年为120万美元。2.📈根据过去几年.AI域名销售额的上升趋势,预测2024年将会有更多.AI域名交易。3.🚀有人猜测认为,2024年.AI域名的公开报道销售额将达到或超过1000万美元。2024年,.AI域名市场是否能够创下1000万美元的销售额?站长网2024-01-03 15:44:130000越来越多印度人涌向技能提升平台,生成式AI课程需求火爆
随着印度科技公司对生成式人工智能(GenAI)和相关学科专业人才的需求不断增加,越来越多的印度人开始利用提升技能的平台进行学习。据Moneycontrol整理的数据显示,印度的几家提升技能创业公司已经增加了人工智能、机器学习、数据科学、Prompt工程和GenAI等相关课程。由于GenAI已经成为主流技术,许多创业公司也将其纳入了现有课程,并推出了短期课程。站长网2023-07-25 22:33:230000梅赛德斯-奔驰计划2023年在全球培训600多名数据和人工智能专家
随着数字化和强大的人工智能(AI)系统的日益使用,梅赛德斯-奔驰的工作内容也发生了变化。梅赛德斯-奔驰将在2023年培训超过600名全球数据和人工智能(AI)专家。作为Turn2Learn资质计划的一部分,梅赛德斯-奔驰将投资超过20亿欧元(约合24亿美元)用于全球员工的资质培训,重点是数字化和人工智能。站长网2023-07-26 15:11:460001