AI圈头条!谷歌Transformer开山论文惊天「翻车」
站长网2023-05-10 10:02:271阅
AI圈大头条!谷歌大脑的NLP奠基之作、提出Transformer架构的开山鼻祖级论文 《Attention Is All Your Need》竟然出现图与代码不一致的问题。
今天,谷歌的开创性论文《Attention Is All Your Need》中变压器架构的原始图表被发现是不正确的,LayerNorm处于错误的位置。然而,一篇新论文表明,将Pre-LN和Post-LN结合起来可以解决梯度爆炸和消失的问题。
论文地址:https://arxiv.org/abs/1706.03762
代码地址:
https://github.com/tensorflow/tensor2tensor/commit/f5c9b17e617ea9179b7d84d36b1e8162cb369f25#diff-76e2b94ef16871bdbf46bf04dfe7f1477bafb884748f08197c9cf1b10a4dd78e
据悉,Transformer架构是人工智能的基石,自2017年发表以来,该论文已被引用超过7万多次。在图表中发现错误引发了对该领域其他开创性论文准确性的质疑。
图中的错误可能导致转换器体系结构的不正确实现,这可能会影响使用它构建的模型的性能。
关于使用Pre-LN还是Post-LN的讨论正在进行中,新论文中提出的两种方法的结合可能会导致人工智能模型开发的进一步发展。
0001
评论列表
共(0)条相关推荐
Wonder Studio:将实拍真人转换为 CG 角色的革命性 AI 工具
WonderStudio是由WonderDynamics公司推出的一款革命性的AI工具,可将影片中的真人转换为CG角色的外观,包括动画、灯光等细节,以搭配实拍场景。用户只需一台相机和浏览器,就能轻松创建动画,无需深入了解3D软件知识。官网地址:https://wonderdynamics.com/站长网2023-07-24 17:15:250002数据分析运营商EXL与微软合作,利用生成式AI推动创新
划重点🤝EXL与微软合作,共同开发和加速生成式人工智能解决方案。🌐利用微软AzureOpenAIService,EXL将扩展数据和分析专业知识,为客户提供快速的行业价值。🛠️合作将提供创新解决方案,助力客户推动增长、个性化客户体验,并解锁有价值的洞察。站长网2024-02-29 09:44:420000今日AI:GPT4强敌Inflection-2.5模型发布;Midjourney要推中国版APP;MovieLLM一句话生成电影
欢迎来到【今日AI】栏目!这里是你每天探索人工智能世界的指南,每天我们为你呈现AI领域的热点内容,聚焦开发者,助你洞悉技术趋势、了解创新AI产品应用。新鲜AI产品点击了解:https://top.aibase.com/📰🤖📢AI新鲜事媲美GPT4!InflectionAI发布Inflection-2.5版本模型高智商加高情商【AiBase提要:】站长网2024-03-08 15:32:400001三星SDS推出Brity Copilot 、 FabriX两款生成式AI服务
三星集团旗下的IT解决方案提供商三星SDS推出了两项生成式AI新服务,BrityCopilot和FabriX,旨在帮助企业客户实施生成AI以提高工作场所的生产力。站长网2023-09-14 12:40:580000风光互补路灯的系统工作原理
你是否曾经为城市路灯的使用和能源浪费而感到困扰?今天,我为大家带来了一项令人惊艳的科技发明——风光互补智能路灯!这项技术采用风力和太阳能相结合的方式,不仅可以在阴雨天使用风力发电,也能在晴天使用太阳能发电。当两者同时存在时,它们能够相互补充,以保证全天候的电量供应。这一系统由风能发电机、太阳能发电板、风能控制板、太阳能控制器、储电池组、电缆及支撑和辅助件构成,性能稳定安全可靠。站长网2023-05-23 14:02:590000