ChatGPT回答编程问题的准确率比抛硬币还要差
站长网2023-08-08 15:40:120阅
本文概要:
1. 普渡大学研究发现,ChatGPT 在软件编程问题上的准确率不到五成。
2. ChatGPT 的答案虽然经常是错误的,但由于其全面性和清晰的语言风格,仍然具有欺骗性。
3. ChatGPT 的答案更容易犯概念错误,但在情绪表达上比 Stack Overflow 的答案更积极。
根据普渡大学的一项研究,OpenAI 的聊天机器人 ChatGPT 在超过一半的时间里对软件编程问题给出了错误的答案。
该研究分析了 ChatGPT 对517个 Stack Overflow 的问题的回答,以评估 ChatGPT 答案的正确性、一致性、全面性和简洁性。结果发现,52% ChatGPT 给出的答案是错误的,77% 的答案是冗长的。
值得注意的是,ChatGPT 的全面性和清晰的语言风格使其仍然具有欺骗性。研究人员表示,当错误不易验证或需要外部 IDE 或文档时,参与者往往无法识别错误或低估答案中的错误程度。由于其全面性和清晰的语言风格,ChatGPT 答案在39.34% 的情况下仍然受到青睐。
该论文指出,即使答案存在明显错误,12名参与者中仍有两人仍将首选答案标记为首选。论文将此归因于 ChatGPT 令人愉快、权威的风格。
此外,研究还发现 ChatGPT 的答案更容易犯概念错误,但在情绪表达上比 Stack Overflow 的答案更积极。
0000
评论列表
共(0)条相关推荐
“ChatGPT之父”结婚了!配偶为前Meta程序员
站长之家(ChinaZ.com)1月12日消息:近日,据多家媒体报道,OpenAI的首席执行官奥特曼(SamAltman)在美国夏威夷与他的同性伴侣马尔赫林(OliverMulherin)举行了一场秘密婚礼。这场婚礼规模较小,仅有少数亲朋好友出席。据公开的婚礼照片显示,奥特曼和马尔赫林穿着简约的白色衬衫和浅米色裤子,看起来十分幸福。0000娃哈哈感谢信:会传承宗庆后务实精神 不断向前发展
娃哈哈集团今天通过其官方微博发布了一封感谢信,以表达社会各界对宗庆后先生逝世的深切悼念和追缅之情的感激之情。在感谢信中,娃哈哈集团提到宗庆后先生是集团的奠基人,他的一生都致力于制造业,将全部精力献给了中国的实体经济。娃哈哈表示,失去这位灵魂人物对他们来说是一次巨大的打击,但社会各界的哀悼和敬意为他们带来了巨大的慰藉。站长网2024-02-28 17:38:330000魅族 21 超前订突破 20 万 将于 11 月 30 日发布
魅族官方宣布,魅族21超前订用户数量已经突破了20万大关,所有超前订用户都将全量享受180天的以换代修服务。如果超前订用户数量突破25万,所有超前订用户将全量解锁半年的碎屏保障服务。魅族21一元超前订活动提供了36个月质保等N重权益,包括优先发货、以旧换新补贴,以及AR智能眼镜的999元权益包。站长网2023-11-20 14:02:030000微信朋友圈11岁了 小程序、视频号使用时长已超过朋友圈
今日是微信朋友圈的11岁生日。据了解,在2012年4月19日的微信4.0版本中,朋友圈正式上线。用户可以通过朋友圈发表文字和图片,同时可通过其他软件将文章或者音乐分享到朋友圈。用户可以对好友新发的照片进行“评论”或“赞”,其他用户只能看相同好友的评论或赞。站长网2023-04-19 14:09:350002Dropbox将裁员500人 并侧重整合AI部门
网络存储应用Dropbox宣布裁员约500名员工,占公司整个劳动力16%左右。削减人员数量是为了给公司AI部门释放更多资源。裁员是为了调整公司团队的技能组合,特别是在AI和早期产品开发方面。Dropbox集中了其核心和文档流程业务,并针对其产品开发团队进行了调整。站长网2023-05-12 20:29:100001