一招分辨刷榜作弊大模型,博士小哥开源AI数学“照妖镜”
如今很多大模型都声称擅长数学,谁有真才实学?谁是靠背测试题“作弊”的?
有人在今年刚刚公布题目的匈牙利全国数学期末考试上做了一把全面测试。
很多模型一下子就“现原形”了。
先看绿色部分,这些大模型在经典数学测试集GSM8k和全新卷子上取得的成绩差不多,共同组成参照标准。
再看红色部分,在GSM8K上的成绩显著高于同参数规模的大模型,一到全新卷子上成绩却明显下降,与同规模大模型差不多了。
研究者把他们归类为“疑似或已知在GSM8k上训练过”。
网友看过这项测试后表示,是时候开始在大模型从来没见过的题目上搞评测了。
也有人认为,这项测试 每个人实际上手使用大模型的经验,是目前唯一靠谱的评估手段。
马斯克Grok仅次于GPT-4,开源Llemma成绩出色
测试者Keiran Paster是多伦多大学博士生、谷歌学生研究者,也是测试中Lemma大模型的作者之一。
让大模型考匈牙利全国高中数学期末考试,这招出自马斯克的xAI。
xAI的Grok大模型发布时,除了几个常见的测试集,还额外做了这项测试,就是为了排除模型无意中在网络数据见过测试题的问题。
这个考试今年5月底才考完,当前大模型基本没机会见过这套试题。
xAI发布时还公布了的GPT-3.5、GPT-4、Claude2的成绩作为比较。
在这组数据基础上,Paster进一步测试了多个生成数学能力强的开源模型。
并把测试题目、测试脚本、各模型回答结果都开源在了Huggingface上,供大家检验以及进一步测试其他模型。
结果来看,GPT-4和Claude-2组成第一梯队,在GSM8k和新卷子上成绩都很高。
虽然这不代表GPT-4和Claude2的训练数据中完全没有GSM8k的泄露题,但至少它俩泛化能力不错、能做对新题,就不计较了。
接下来,马斯克xAI的Grok-0(33B)和Grok-1(未公布参数规模)表现都不错。
Grok-1是“未作弊组”里成绩最高的,新卷子成绩甚至高过Claude2。
Grok-0在GSM8k上的表现接近GPT3.5-Turbo,新卷子上略差一些。
除了上面这几个闭源模型,测试中其他的都是开源模型了。
Code Llama系列是Meta自己在Llama2基础上微调的,主打根据自然语言生成代码,现在看来数学能力比同规模的模型稍差。
在Code Llama的基础上,多所大学和研究机构共同推出Llemma系列,并由EleutherAI开源。
团队从科学论文、包含数学的网络数据和数学代码中收集了Proof-Pile-2数据集,训练后的Llemma能使用工具和做形式定理证明,无需任何进一步的微调。
Llemma34B在新卷子上与GPT-3.5Turbo水平接近。
Mistral系列则是法国AI独角兽Mistral AI训练的,Apache2.0开源协议比Llama更宽松,成为羊驼家族之后最受开源社区欢迎的基础模型。
“过拟合组”里的OpenChat3.5和MetaMath Mistral都是基于Mistral生态微调而来。
MetaMath和MAmmoTH Code则是基于Code Llama生态。
有在实际业务中选择开源大模型的就要小心避开这一组了,它们很有可能只是刷榜成绩好看,但实际能力弱于同规模模型。
不少网友都对Paster这项试验表示感谢,认为这正是了解模型实际情况所需要的。
也有人提出担心:
从这一天起,所有训练大模型的人都会加入匈牙利历年数学考试题。
同时他认为,解决办法可能是有一家拥有专有测试的专门大模型评估公司。
另一项提议是建立一个逐年更新的测试基准,来缓和过度拟合问题。
小米相册AI编辑上线「智能扩图」、「魔法消除Pro」等功能
今日,小米官方宣布小米相册AI编辑「智能扩图」、「魔法消除Pro」正式上线,预计在本月内全面覆盖小米14、小米14Pro以及RedmiK70系列手机,为用户带来更为智能与便捷的相册编辑体验。智能扩图功能,旨在解决用户在拍摄过程中可能遇到的构图问题。用户只需在相册编辑界面选择裁切旋转功能,然后点击智能扩图,系统便能自动对图片进行扩展和重新构图,让照片更具艺术感。站长网2024-03-14 17:14:050000反盗版组织下线AI训练数据集 “Books3” Meta大模型也曾使用
本文概要:1.反盗版组织成功要求在线盗版书籍资源库TheEye下线AI训练数据集"Books3"。2."Books3"数据集包含了37GB的文本,用于训练人工智能模型,已被多家公司使用。3.反盗版组织表示AI对版权产生了新的挑战,计划继续打击其他存有该数据集的网站。站长网2023-08-22 12:01:020000美国证券交易委员会提议对华尔街公司使用人工智能进行打击
美国证券交易委员会(SEC)提议对华尔街公司使用人工智能进行打击华尔街的最高监管机构正着手禁止投资公司以牺牲客户最佳利益为代价,利用人工智能(AI)来增加业务,这是联邦机构为该技术制定规则的首次尝试。证券交易委员会周三投票提议对在线经纪公司(如罗宾汉)利用AI来诱导客户进行交易的方式进行新的限制。站长网2023-07-27 17:05:090000腾讯绝艺AI登顶日本麻将平台 AI决策能力提升
站长网2023-07-12 16:23:470000市值逆袭超茅台!中国移动一季度营收2507亿:日赚3.1亿
快科技4月20日消息,今日,中国移动发布2023年第一季度业绩,第一季度,公司营运收入为人民币2507亿元,同比增长10.3%;其中,通信服务收入为人民币2,098亿元,同比增长8.3%。DICT业务收入为人民币294亿元,同比增长23.9%。期内,股东应占利润为人民币281亿元,同比增长9.5%,差不多日赚3.1亿。站长网2023-04-20 21:34:060001