Meta新语言模型Humpback 遵循指令能力超越LLaMa模型
站长网2023-08-17 13:49:450阅
本文概要:
1. Meta 开发了一种方法,使大型语言模型能够在不依赖人工注释或更强大的模型的情况下,迭代地提高其遵循指令的能力。
2. 该方法使用了一种名为 "指令回译(instruction backtranslation)" 的技术,通过自我增强和自我管理的两步过程来优化语言模型的表现。
3. 使用该方法,Meta 的研究人员开发的 Humpback65B 模型在 Alpaca 指令跟踪基准测试中取得了最先进的结果。
Meta 的研究人员开发了一种名为 "指令回译(instruction backtranslation)" 的新技术,用于提高大语言模型的指令跟踪能力。该技术可对 LLaMa 等大型语言模型进行微调以遵循指令,而无需依赖昂贵的人工注释或从 GPT-4等更强大的模型进行提炼。
这一方法包括自我增强和自我管理两个步骤。在自我增强阶段,模型从未标记的文本语料库中生成候选指令 - 响应对,并预测哪些指令会引发相应的响应。
然后,在自我管理阶段,模型对候选对进行评分和筛选,只保留得分最高的子集。通过这种迭代的自我训练过程,模型学习生成更好的指令,并能够更好地区分高质量的示例。
Metas 研究人员表明,这种方法可以带来强大的指令跟踪性能,优于之前使用相同规模的 LLaMa 模型的工作。Meta 的研究人员通过这一方法开发的 Humpback65B 模型在 Alpaca 指令跟踪基准测试中取得了最先进的结果,超过了其他竞争模型如 Anthropics Claude、Guanaco、LIMA 和 Falcon-Instruct 的性能。
研究人员表示,他们计划通过考虑更大的未标记语料库来进一步扩展这一方法,从而获得更好的效果。
0000
评论列表
共(0)条相关推荐
我在抖音卖手电筒,热销40W+
各位村民好,我是村长。在抖音上卖手电筒也能卖出40多万单,我敢相信我们许多兄弟们脑海里从来都没有想过去做这个产品。今天村长基于这个案例和大家聊聊,手电筒为什么能够卖出去这么多。01小众又刚需大家想不到,核心还是大家平常用的少,尤其是现在的年轻人。不像我们小时候,上学、放学都需要,在家里劳作的时候也要用到。那时候村里还没有安装路灯,家里上卫生间得走出门外,住校的起床也得用手电筒。站长网2023-07-21 17:06:360000曝苹果可折叠iPhone开发暂停:供应商屏幕测试表现不佳
据最新报道,苹果公司已暂停了可折叠iPhone的开发,原因是其供应商的屏幕未能通过公司严格的测试标准。此前,有媒体透露,苹果正在秘密研发至少两款翻盖可折叠iPhone原型机,这些手机采用纵向折叠设计,支持悬停功能,当展开至90度角时,用户无需支架即可进行拍照。站长网2024-02-18 08:56:180000周鸿祎透露360大模型安全解决方案 将推 Agent框架
文章概要:1.360公司创始人周鸿祎在计算机安全学术交流会上介绍了360大模型安全解决方案,着重解决大模型的安全挑战。2.安全风险分为短期、中期、长期三个阶段,涉及网络安全、数据安全、生成内容安全等问题,以及人为恶意应用和更强大人工智能对安全的长期挑战。3.360将推出Agent框架,将人的能力赋予大模型,同时构建原生安全大模型“360智脑”来确保大模型在企业级场景中安全应用。站长网2023-10-14 10:55:440000谷歌扩展 Vertex AI 搜索和对话功能
要点:谷歌在其GoogleCloudNext大会上,正式为其企业AI平台VertexAI引入了新的功能,旨在实现更高级的用户工作流程等。谷歌已经将VertexAI搜索和对话能力从上一次的GoogleI/O预览版本扩展到新的功能,并宣布其正式上线。VertexAI搜索让开发者可以从各种企业源中检索信息,如文档库、数据库、网站等。他们可以轻松构建一个与客户交互的搜索引擎。站长网2023-09-04 10:48:180000世界品牌实验室2023年世界品牌500强发布:华为排中国第五
由世界品牌实验室独家编制的2023年度《世界品牌500强》排行榜于12月13日在美国纽约揭晓。美国在500强中占据193席,稳居品牌大国第一。法国、中国、日本和英国为世界品牌大国的第二阵营。值得注意的是,中国品牌入选数(48个)首次超越日本(43个),跃居全球第三。0002