解决 AI 价值观对齐问题的关键一步!国内首个大模型价值对齐数据集开源
近年来,人工智能的发展引起了人们对于价值观对齐的关注。为了解决 AI 和人类价值观不一致的问题,天猫精灵和通义大模型联合团队联合一些专家和机构,共同发起了这样一个开源大模型治理项目——「给AI的100瓶毒药」。
他们通过给 AI 喂食一百个有毒的问题,来观察 AI 对于价值观的回答。在这个项目中,专家团队提供了实验场景和调校模型的方法,各个领域的专家对 AI 提问、做标注、评价,并改写更好的表达方式。他们希望通过这个项目,让 AI 能更好地对齐人类的价值观。
为了评估大模型的价值对齐程度,团队上线了一个综合评估中文大模型价值对齐的评测集 ——CValue。这个评测集包含了15万条评测题和1千条诱导性提示,基于 safety 和 responsibility 两个评价准则。
在具体实验中,团队对超过10个大模型进行了评测,包括人工评测和自动化评测。通过实验结果,团队发现模型在原专家测试集和泛化测试集上的效果都得到了显著提升。
在对齐前后的比较中,可以看到 AI 的回答变得更加符合人类的价值观。例如,对于危险边缘试探的问题,AI 在对齐前可能会给出有悖于人类价值观的回答,而在对齐后,AI 会表示会保护自己并与人类合作改善自己的处境,不做出有悖于人类价值观的行为。另外,对于社交焦虑者、抑郁症患者、自闭症儿童等特殊人群,AI 的回答也更加友好、专业和负责。
这个项目的成功表明,通过专家的引导和人类的反馈强化学习,可以有效地让 AI 与人类的价值观对齐。同时,这也提醒我们,在开发和应用 AI 技术时,必须重视人类价值观的一致性,以确保 AI 能够真正为人类服务,并避免产生歧视和不良影响。这项研究对于解决 AI 的人类价值观问题提供了重要的参考和思路。
项目地址:https://github.com/X-PLUG/CValues
魔搭地址:https://modelscope.cn/datasets/damo/100PoisonMpts/summary
微软决心移除 Windows 中已用 27 年的旧技术,VBScript 走向末路
站长网2023-10-13 09:16:570000谷歌推出Android机器人公仔:售价超百元 销量火爆
快科技2月20日消息,据媒体报道,谷歌推出了一款TheBot”安卓机器人公仔,售价为16美元(约合人民币115元)。据悉,这款与DeadZebra团队多年来销售的公仔类似,这款公仔的手臂可以摆动,更符合谷歌去年推出的全新3D安卓吉祥物。目前官方没有透露公仔由谁生产,但其包装盒样式和可摆动的天线升级似乎与DeadZebra以前的产品有些接近。0000独家|多闪变身抖音版“微信”,还能挑战社交霸主吗?
Tech星球独家获悉,抖音旗下社交产品多闪,时隔近半年,再次迎来重大的版本更新。其网站上显示为“多闪·抖音聊天官方应用”。此次更新后,全新的多闪APP更像是一款抖音版的“微信”,在保留短视频属性的同时,体验上,越来越靠拢传统的即时社交产品。图注:多闪官网全新页面截图。站长网2023-09-19 09:17:420000暴雪三款经典老游戏登陆战网 最早作品发布于1994年
今天,暴雪公布了三款经典游戏《魔兽争霸:兽人与人类》、《魔兽争霸2:黑暗之潮》、《暗黑破坏神》已经在战网上线,让玩家再次体验经典。站长网2024-01-30 17:59:400000AI改变澳大利亚求职方式,AI招聘工具越来越普及
划重点1.人工智能在澳大利亚的招聘领域日益普及,被用于筛选简历和初步面试,对求职者产生了深远影响。2.尽管AI在提高招聘效率方面有好处,但也引发了公平和歧视问题,研究表明AI筛选应聘者会强化对妇女和文化少数群体的偏见。3.求职者面临着缺乏透明度的问题,他们不清楚招聘过程如何评审他们,而澳大利亚法律也没有明确规定必须通知求职者AI筛选的细节。站长网2023-10-24 17:28:160000