GPT-4“荣升”AI顶会同行评审专家?斯坦福最新研究:ICLR/NeurIPS等竟有16.9%评审是ChatGPT生成
斯坦福的一篇案例研究表示,提交给AI会议的同行评审文本中,有6.5%到16.9%可能是由LLM大幅修改的,而这些趋势可能在个体级别上难以察觉。
LLM在飞速进步的同时,人类也越来越难以区分LLM生成的文本与人工编写的内容,甚至分辨能力与随机器不相上下。
这加大了未经证实的生成文本可以伪装成权威、基于证据的写作的风险。
尽管在个例上难以察觉,但由于LLM的输出趋于一致性,这种趋势可能会放大语料库级别的偏见。
基于这一点,一支来自斯坦福的团队提出一种方法,以此来对包含不确定量的AI生成文本的真实世界数据集进行可比较的评估,并在AI会议的同行评审文本中验证。
论文地址:https://arxiv.org/abs/2403.07183
AI会议的同行评审可能是AI?
同行评审是一种学术论文发表前的质量评估机制。
这些同行评审者通常具有相关领域的专业知识,他们会对论文的原创性、方法学、数据分析、结果解释等进行评价,以确保论文的科学性和可信度。
斯坦福团队研究的AI会议包括ICLR2024、NeurIPS2023、CoRL2023和EMNLP2023,他们的研究发生在ChatGPT发布之后,实验观察估计LLM可能会显著修改或生成的大语料库中的文本比例。
结果显示,有6.5%到16.9%可能是由LLM大幅修改的,即超出了拼写检查或微小写作更新的范围。
在下图中,可以看到ICLR2024同行评审中,某些形容词的频率发生了显著变化,例如「值得称赞的」、「细致的」和「复杂的」,它们在出现在句子中的概率分别增加了9.8倍、34.7倍和11.2倍。而这些词大概率是由人工智能生成的。
同时研究还发现,在报告较低自信度、接近截稿时间以及不太可能回应作者反驳的评论中,LLM生成文本的估计比例较高。
最大似然让LLM现形
因为LLM检测器的性能不稳定,所以比起尝试对语料库中的每个文档进行分类并计算总数,研究人员采用了最大似然的方法。
研究方法主要分成四个步骤:
1. 收集(人类)作者的写作指导——在这个情况下是同行评审指导。将这些指导作为提示输入到一个LLM中,生成相应的AI生成文档的语料库。
2. 使用人类和AI文档语料库,估算参考标记使用分布P和Q。
3. 在已知正确比例的AI生成文档的合成目标语料库上验证方法的性能。
4. 基于对P和Q的这些估计,使用最大似然法估算目标语料库中AI生成或修改文档的比例α。
上图对方法进行了流程可视化。
研究人员首先生成一个具有已知科学家或AI作者身份的文档语料库。利用这些历史数据,我们可以估算科学家撰写的文本和AI文本的分布P和Q,并验证我们方法在留存数据上的性能。最后,使用估算的P和Q来估算目标语料库中 AI 生成文本的比例。
在验证集中,该方法在LLM生成反馈比例方面表现出高精度,预测误差不到2.4%。同时,团队对鲁棒性也进行了验证。
另外,一位审稿人可能会分两个不同阶段起草他们的审稿意见:首先,在阅读论文时创建审稿的简要大纲,然后使用LLM扩展这个大纲以形成详细、全面的审稿意见。
在这种场景的验证中,算法仍旧表现出色,能够检测到LLM用于大幅扩展由人提供的审稿大纲的情况。
实验结果中还发现了什么
首先,团队将AI会议的同行评审和Nature Portfolio期刊的α进行了比较。
与AI会议相反,Nature Portfolio期刊在ChatGPT发布后没有显示出估计α值的显著增加,ChatGPT发布前后的α估计值仍在α =0验证实验的误差范围内。
这种一致性表明,在与机器学习专业领域相比,广泛的科学学科对AI工具的反应有明显的不同。
除了发现同行评审文本中,有6.5%到16.9%来自于LLM的手笔之外,该研究还发现了一些有意思的用户行为,在四个AI会议里保持一致:
1. 截至日期效应:在审稿截止日期前3天内提交的评审往往更倾向于用GPT
2. 参考文献效应:包含「et al.」一词的评审,即有学术引用的评审,更不会用GPT
3. 回复率降低效应:审稿讨论期间,审稿人回复数量越多,评审更不会用GPT
4. 同质化效应:与同论文其他审稿意见越相似的评审,越可能用GPT
5. 低置信度效应:自评置信度在5分制度中为2分或以下的评审与较高置信度(3分或以上)的评审相比,更可能用了GPT
尽管这项研究存在一定的局限性,比如只涉及了四个会议、仅使用了GPT-4来生成AI文本,并且可能存在其他误差来源,比如由于主题和审稿人的变化而导致的模型时间分布的偏差。
但是,研究的结论启示了LLM可能对科学界产生的潜在影响,这有助于激发进一步的社会分析和思考。希望这些研究结果能够促进对于LLM在未来信息生态系统中应该如何使用以及可能带来的影响的深入探讨,从而推动出台更加明智的政策决策。
参考资料:
https://arxiv.org/abs/2403.07183
30天涨粉685万!主播“户外发”爆火,户外直播有什么魔力?
本文转载自运营公举小磊磊(公众号ID:gongjulei),免费阅读200万字新媒体运营知识,提升新媒体运营能力。最近一段时间,户外主播“户外发(东方阿保)”爆火!根据新榜的数据显示,仅仅在30天内,其粉丝数量飙升了685万。短短几个月时间就在抖音上积累了1145万粉丝,全平台粉丝数更是超过了2000万,成为今年最引人注目的网红之一。站长网2023-12-14 17:17:5100019因Stable diffusion生成图片被他人用作文章配图 一用户起诉侵权
8月24日,北京互联网法院依法公开开庭审理了一起“AI文生图”著作权案。该案中,原告李某某利用Stablediffusion人工智能大模型,通过输入提示词的方式,生成了一张人物图片,后将该图片以“春风送来了温柔”为名发布在某网络平台。被告刘某某在个人账号上使用该图片作为文章配图发布。李某某以侵害作品署名权和信息网络传播权为由将刘某某起诉到北京互联网法院。站长网2023-08-26 16:14:300000比特币现货突破5.7万美元 创2021年以来新高
站长之家(ChinaZ.com)2月27日消息:随着比特币价格在周一逼近5.5万美元,并在周二成功突破这一关口,持续上涨至超过57000美元/枚,加密货币市场迎来了新一轮的热潮。站长网2024-02-27 14:04:110000微博上的十年创作故事
2022年的微博超级红人节,终于来了。4月的长沙躁动起来,仍旧是往年的风光,各路大V云集,会场人山人海,而对于真正关注互联网内容产业的人来说,微博过去一年的发展成果才是最重要的。大V博主作为微博平台的核心资产,一直是被讨论的重点,值得注意的是,这一次的超级红人节出现了一个全新的奖项:十年创作成就纪念。站长网2023-04-17 11:53:300003约会应用 Hinge正在招聘人工智能副总裁 薪资可达每年39.8万美元
文章概要:1.Hinge正在招聘一位人工智能副总裁,负责领导团队开发和部署AI功能,薪资可达每年39.8万美元。2.该职位要求候选人拥有计算机科学、人工智能或数据科学等领域的硕士或博士学位,并在产品导向的科技公司具有领导经验。3.Hinge的母公司MatchGroup正致力于将AI功能整合到其系列约会应用程序中,例如通过AI选择照片和解释推荐原因。站长网2023-08-15 10:50:300000