研究显示 ChatGPT 4.0 在事实核查中优于谷歌 Bard、微软 Bing AI 等其他模型
站长之家(ChinaZ.com) 7月18日消息:大型语言模型(LLM)是自然语言处理(NLP)技术的进化,能够快速生成与人类写作相似的文本并完成其他简单的与语言相关的任务。自 OpenAI 发布高性能的 ChatGPT 之后,这些模型变得越来越受欢迎。
迄今为止,研究主要评估 LLM 的能力,例如创建写作流畅的文本、定义特定术语、撰写论文或其他文件以及生成有效的计算机代码。然而,这些模型在解决其他真实世界问题,包括假新闻和虚假信息方面也具有潜在的帮助。
威斯康星大学斯托特分校的研究员 Kevin Matthe Caramancion 最近进行了一项研究,评估迄今为止最知名的 LLM 能否检测新闻故事的真实性或虚假性。他在 arXiv 上发表的论文提供了有价值的见解,这可能有助于今后使用这些先进模型来对抗在线的错误信息。
Caramancion 告诉 Tech Xplore 说:「我最近的论文灵感来自于了解各种 LLM 在对抗错误信息方面的能力和局限性的需求。我的目标是通过一个受控模拟和已建立的事实核查机构作为基准,对这些模型的熟练程度进行严格测试,以辨别真实与虚构的能力。」
Caramancion 表示:「我们使用 100 个经过独立事实核查机构核实的新闻项目作为测试套件,评估了这些大型语言模型的性能。我们将每个新闻项目在受控条件下呈现给模型,然后将它们的回应分类为「真实」、「虚假」和「部分真实/虚假」。根据与独立机构提供的核实事实相比较,测量了模型的有效性。」
随着互联网和社交媒体的迅速发展,不管信息是真实还是虚假,错误信息已经成为近几十年来的一个重要挑战。许多计算机科学家一直在努力开发更好的事实核查工具和平台,使用户能够验证他们在网上阅读到的新闻。
尽管迄今为止已经创建和测试了许多事实核查工具,但仍缺乏一个被广泛接受和可靠的模型来对抗错误信息。作为他研究的一部分,Caramancion 致力于确定现有 LLM 在解决这一全球性问题方面的有效性。
他具体评估了四个 LLM 的性能,分别是 OpenAI 的 ChatGPT-3.0 和 ChatGPT-4.0、Google 的 Bard/LaMDA 和微软的 Bing AI。Caramancion 给这些模型提供了相同的事实核查过的新闻故事,然后比较它们在确定故事的真实性、虚假性或部分真实/虚假性方面的能力。
Caramancion 表示:「我们对主要 LLM 的区分事实和虚构能力进行了比较评估。我们发现 OpenAI 的 GPT-4.0 表现最佳,这暗示了较新的 LLM 的进步。然而,所有模型都落后于人类事实核查员,强调了人类认知不可替代的价值。这些发现可能导致更加关注开发用于事实核查的人工智能能力,同时确保与人类技能的平衡、共生整合。」
Caramancion 进行的评估表明,ChatGPT 4.0 在事实核查任务上明显优于其他知名的 LLM。进一步对更多虚假新闻进行测试的研究可能有助于验证这一发现。
研究人员还发现,人类事实核查员仍然优于他评估的所有主要 LLM。他的研究凸显了需要进一步改进这些模型或将它们与人类工作者的工作相结合,如果要将它们应用于事实核查工作。
Caramancion 补充说:「我的未来研究计划集中在研究人工智能能力的发展,重点是如何利用这些进展,同时不忽视人类独特的认知能力。我们的目标是改进我们的测试协议,探索新的 LLM,并进一步研究在新闻事实核查领域人类认知和人工智能技术之间的相互关系。」
Rerender A Video源代码放出!解决AI视频闪烁问题
RerenderAVideo是一项令人印象深刻的技术成果,它旨在将大型文本到图像扩散模型的能力扩展到视频领域。该项目提出了一种零训练的文本引导视频到视频翻译框架,能够在视频帧之间确保时间一致性,这一直是一个巨大的挑战。它包括两个主要部分:关键帧翻译和完整视频翻译。第一部分使用适应的扩散模型生成关键帧,通过应用层次交叉帧约束来强化形状、纹理和颜色的连贯性。站长网2023-09-26 11:44:410000好莱坞编剧持续罢工,Netflix等电影公司坚持百万美元招聘AI岗位
文章概要:1.电影电视公司发布了提供年薪20万至100万美元的人工智能职位广告,而好莱坞编剧罢工已持续3个月。2.Netflix、迪士尼、索尼等公司招聘人工智能相关职位,年薪在20万至100万美元之间。3.好莱坞编剧不仅为争取更高报酬而罢工,也在抗议人工智能抢走他们的工作。最近,尽管好莱坞的编剧和演员继续抗议使用人工智能,但电影和电视制作公司还是针对人工智能相关职位发布了招聘广告。站长网2023-08-29 11:03:420000“萝卜厂”最早下周上市,又有一批湾区人要财务自由了?
曲折的IPO之路,是柳暗花明,还是“出道即巅峰”?文|Jessica编辑|VickyXiao沸沸扬扬传了好几年,美国知名生鲜杂货配送平台Instacart上市的事儿终于板上钉钉。由于它的Logo是个胡萝卜,所以也被湾区人戏称为“萝卜厂”。上市的消息一出,“萝卜厂”的员工们瞬间又成为众人艳羡的对象。但他们自己心里,却可能什么滋味都有。站长网2023-09-12 14:23:360000金融科技行业整体投资下降,但对人工智能的兴趣上升
本文概要:1.全球金融科技融资额在2023年上半年下降17%,但人工智能领域的兴趣持续增长。2.亚太地区金融科技公司的投资额降至51亿美元,远低于2022年上半年的纪录。3.人们对人工智能生成内容的兴趣增加,特别是在金融科技用例中的应用。根据毕马威最新报告,全球金融科技融资额在2023年上半年下降了17%,亚太地区金融科技公司的投资额也大幅降低。站长网2023-08-03 17:05:060000暴雪新总裁任命官宣 曾担任《使命召唤》系列经理
站长网2024-01-30 14:05:510000