谷歌搜索引入语法检查模型EdiT5 提高语法纠正准确性
💡 划重点:
- Google研究团队开发了一种高效的语法纠正模型,基于EdiT5架构,使用户能够在Google搜索中检查查询的语法。
- 这一模型采用了新颖的文本编辑方法,降低了解码延迟,提高了纠正的准确性,同时结合了大型语言模型(LLMs)的优点。
Google的研究团队最近开发了一种高效的语法检查模型,它将语法检查引入了Google搜索,为用户提供了一种在查询语法方面的辅助工具。这一模型基于EdiT5架构,通过新颖的文本编辑方法,极大地减少了解码延迟,提高了语法纠正的准确性。
传统的语法错误纠正(GEC)方法通常将其视为翻译问题,并使用自回归变换器模型逐个标记解码响应,条件是以前生成的标记。然而,这种方法的效率较低,因为解码不能并行进行。文章指出,通常只需要对输入文本进行少量修改,因此可以将GEC视为文本编辑问题,仅使用自回归解码器生成修改,从而显著降低GEC模型的延迟。
EdiT5模型基于T5变换器编码器-解码器架构,采用了一些关键的修改。它使用编码器来确定要保留或删除的输入标记,这些保留的标记构成了初步的输出。此后,解码器输出缺失的标记,并使用指针机制指示每个新标记的放置位置,以生成语法正确的输出。与传统的GEC方法相比,解码器只运行少量步骤,从而提高了效率。
为了降低解码器延迟,研究团队将解码器减少到单层,并通过增加编码器的大小来进行补偿。实验结果表明,EdiT5大型模型相比具有248M参数的T5基础模型,提供了9倍的速度提升,同时提高了修正的准确性。EdiT5模型的平均延迟仅为4.1毫秒。
此外,研究团队还介绍了如何使用大型语言模型(LLMs)的优点,结合EdiT5的低延迟,通过硬蒸馏技术训练了教师LLM,用于生成学生EdiT5模型的训练数据。他们还详细解释了如何生成更干净和一致的训练数据,并通过自训练和迭代改进等技术提高了数据的质量。
他们开发了两种基于EdiT5的模型,分别用于语法错误校正和语法分类。在使用语法检查功能时,查询首先经过校正模型,然后通过分类模型检查输出是否确实正确。这种分离的分类模型有助于更容易在精度和召回率之间进行权衡,并减少了为模糊或无意义的查询提供错误或混乱校正的风险。
谷歌的这一语法检查功能基于EdiT5模型架构,为用户提供了一种检查其查询语法的有效方式,进一步提升了Google搜索的用户体验。
寒假神兽回家,AI学习机能替你看娃吗?
寒假看娃没时间,放个AI学习机就能万事大吉吗?自从孩子放寒假后,家长就针对如何看娃,分成了“培训班派”“找外援派”“技术流派”“学习机派”几种,其中“学习机派”作为后起之秀,发展潜力巨大。如今的学习机市场中,科大讯飞、小度、学而思、希沃等品牌,纷纷打起AI旗号,但在实际体验中,AI解题出现错误,推送内容的不精准,让家长们身心俱疲。站长网2024-01-25 09:16:370000突围“史上最难618”,谁能势在必得?
今年618对很多平台来说都意义非凡。尤其是最具主场优势的阿里、京东而言,更是一场硬仗:阿里“16N”组织架构调整后,淘天的第一次大促,且还恰逢也淘宝20周年;京东换帅、CEO许冉第一次接棒618,需要交上一张漂亮的成绩单。但同时,今年618也来到了“史上最难”的关卡。站长网2023-06-13 23:54:090000LIDA:使用大语言模型自动生成可视化和信息图表
文章概要:1.LIDA是一个使用大型语言模型自动生成数据可视化和信息图表的开源库。2.LIDA提供了API,可以生成、执行、编辑、解释、评估和修复可视化代码。3.LIDA与多种编程语言和可视化库兼容,支持OpenAI、PaLM、Cohere等LLMs。LIDA是一个开源库,用于利用大型语言模型自动生成数据可视化和信息图表,目前在GitHub上获得了较高关注度。站长网2023-08-28 12:03:030000《元梦之星》再登央视,年轻人们都在“小小元宇宙”里过元宵
2月24日,央视元宵晚会又一年引国人天南海北共“赏”佳节。在精彩纷呈的歌舞节目与彩灯流转的舞台视效间,娱乐独角兽注意到,今年的猜灯谜环节与以往格外不同,是在《元梦之星》的数字化场景里落地呈现的。站长网2024-02-25 15:36:420000xAI的聊天机器人Grok下周将向Premium+订阅用户推出
近期,ElonMusk宣布xAI的聊天机器人Grok将在下周推出,服务对象为XPremium订阅用户。Grok被定位为xAI对抗其他聊天机器人的解决方案,具有更多个性和对“辛辣”问题的回答。该聊天机器人将通过X平台实时获取知识,并加入X的高级订阅服务,为Premium套餐增色。这一推出也被视为X吸引更多用户、增加收入的举措,尤其是在广告商撤离和社交媒体平台上出现争议的情况下。站长网2023-11-23 10:21:420000