新加坡国立大学发布Goat 算数能力超过GPT-4
站长网2023-06-07 19:12:160阅
尽管大规模语言模型在各种自然语言处理任务中展现出卓越的性能,但算术类问题仍然是一个难题,即使是目前最强大的GPT-4也很难解决基本的运算问题。
最近,来自新加坡国立大学的研究人员提出了一个专门用于算术问题的模型,名为Goat。在对LLaMA模型进行微调后,Goat在算术上实现了比GPT-4更出色的性能。
通过微调合成的算术数据集,Goat在BIG-bench算术子任务上实现了最先进的性能。通过监督微调,Goat在大数加减运算中实现了准确率近乎完美,超越了之前所有的预训练语言模型,例如Bloom、OPT、GPT-NeoX等。其中,零样本的Goat-7B所达到的精度甚至超过了少样本学习后的PaLM-540。
论文地址:https://arxiv.org/pdf/2305.14201.pdf
研究人员将Goat的卓越性能归功于LLaMA的数字一致性分词技术。
为了解决更具挑战性的任务,例如大数乘法和除法,研究人员提出了一种方法,将任务根据算术的可学习性进行分类,然后利用基本算术原理将不可学习的任务(例如多位数乘法和除法)分解为一系列可学习的任务。通过全面实验验证后,文中提出的分解步骤可以有效地提高算术性能。
此外,Goat-7B可以在24GB VRAM GPU上使用LoRA进行高效训练。而其他研究人员也可以很容易地重复这个实验,因为该模型、数据集和生成数据集的Python脚本即将开源。
0000
评论列表
共(0)条相关推荐
老虎证券推出使用 OpenAI 技术的 AI 投资助手 TigerGPT:用户可登记轮候试用
互联网券商老虎证券宣布推出人工智能(AI)投资助手——TigerGPT,这是运用老虎国际的金融数据库及OpenAI技术开发的文本生成式AI聊天机器人,将内置于其交易平台TIGerTrade。老虎证券表示,TigerGPT目前正处于用户测试阶段,会邀请指定市场的用户参与,用户可登记进入轮候名单。站长网2023-04-12 14:44:250000Stack Overflow宣布推出生成式AI计划OverflowAI
文章概要:1.StackOverflow宣布了在公共平台、StackOverflowTeams和IDE插件等新产品领域推进生成式AI的路线图。2.OverflowAI项目包括知识引擎、增强的搜索、IDE扩展和Slack集成等。3.在公共平台上,会推出基于OverflowAI的搜索和GenAI社区讨论。站长网2023-09-04 17:28:320000抖音直播打击「网络黑灰产」 1月以来清理违规账号23577个
抖音直播发布严厉打击「网络黑灰产」的治理公告称,为了保障广大网民的合法权益,依法依规加强网络空间管理,抖音直播始终聚焦网络黑灰产治理,坚决抵制破坏网络生态秩序的行为。2023年1月以来平台共清理违规账号23,577个,移交警方2起涉黑灰产案件。站长网2023-05-31 21:00:300000必和必拓与微软合作:在世界上最大的铜矿使用 AI 和机器学习提高铜矿回收率
必和必拓公司周二表示,该公司正在与微软公司开展合作,利用人工智能和机器学习技术来改善智利Escondida矿场的铜回收率。该矿场是世界上最大的铜矿。必和必拓首席技术官LauraTyler表示,通过结合新的数字技术能力和新的工作方式,Escondida矿场的团队有望从现有资源中创造更多价值。站长网2023-05-31 09:04:030000GPT-4在医学问题上击败了专业调优的 MedPaLM 2 模型
在研究中,微软的研究人员展示了GPT-4在医学知识测试中的卓越表现,特别是当结合先进的提示工程技术时,其性能超过了专业调整的MedPaLM2。研究结果显示,相较于费时费力的调优和模型训练,将更有效的提示工程应用于主流通用模型可能是实现更准确结果的更好途径。站长网2023-12-04 11:17:220000