LLM能否自我评估安全性?RAIN:一种无需微调即可改善AI对齐和安全防御新方法
文章概要:
1. 大型语言模型(LLM),如GPT-3,通过自我评估和改进方法(RAIN)能够满足人类需求,无需额外数据和微调。
2. RAIN方法具备广泛适用性,适用于多种语言生成任务,无需额外模型或数据存储,且无需依赖标记数据或训练。
3. RAIN通过自我评估提高LLM的性能,降低对敌对攻击的成功率,为AI生成更协调和安全的响应。
研究表明,大型预训练语言模型(LLM),如GPT-3,具有出色的能力,可以理解和回答人类提出的问题,协助编码工作等。然而,它们常常生成与人类偏好不同的结果。
过去,研究人员试图通过收集有关人类偏好的信息来解决这个问题,然后通过使用强化学习或指令调整来调整先前训练的模型,从而需要一个微调阶段。调整冻结的LLM(尚未接受额外训练且不需要额外数据)更具吸引力。
图源备注:图片由AI生成,图片授权服务商Midjourney
最近,一组研究人员发现,未对齐的LLM可以通过包括自我评估和回溯机制的自我改进过程直接生成与人类偏好匹配的回复。出于AI安全性的考虑,他们引入了可回滚自动回归推理(RAIN),这是一种独特的推理技术,使预训练的LLM能够评估其自动生成的文本,并使用评估结果来指导向后倒带和向前生成。
RAIN以其无需进一步数据进行模型对齐的能力而著称。它消除了对参数更新、梯度计算或训练的需求。模型通过固定模板提示在自我评估阶段获取有关应对齐哪些人类偏好的指导,从而省去了反复调整初始查询的需求。
实验结果由GPT-4模型和人工评估员评估,体现了了RAIN的成功。例如,使用HH数据集,RAIN在保持LLaMA30B的有用性率不变的同时,与普通推理相比将其无害性率从82%提高到97%。
该团队表示,当 Vicuna33B 成为显着敌对攻击 (LLM-ATTACKS) 的目标时,RAIN 甚至通过将攻击成功率从94% 降低到19% 建立了新的防御基准。
RAIN在对齐大型语言模型(LLM)方面具有许多优势:
- 通用性:RAIN方法具有广泛的适用性,适用于各种语言生成任务。它与自回归推理范式完美契合,这是许多LLM的常规范式。这意味着RAIN高度可定制且用户友好,可以快速集成到大多数现有LLM中。
- 与冻结权重的对齐:RAIN不需要维护额外的模型或存储梯度数据和计算网络,与一些其他对齐策略(如RLHF)相比,其产生的最低内存开销与简单自回归推理相当。由于其简单的实现和高效的内存设计,RAIN是对齐冻结权重的LLM的现实选择,消除了资源密集型的微调过程。
- 无需学习:RAIN不依赖于任何类型的标记或未标记数据,也不依赖于人类注释。它以无需学习的方式运作,不需要大量信息或培训,因此在各种任务中显著提高了对齐性能,并使LLM更加抵抗敌对提示攻击。在评估一个着名的敌对攻击方法时,RAIN显著降低了攻击成功率,展示了其作为防御措施的潜力。
这项研究引入了RAIN作为一种调整LLM以满足人类偏好的技术,无需额外信息或繁琐的微调。这是通过允许LLM评估和改进其自身输出来实现的,最终产生更协调和安全的AI生成响应。
论文网址:https://arxiv.org/abs/2309.07124
印度改变立场,要求 AI 模型发布需政府批准
划重点:⭐印度发布新指南,要求科技公司在推出新的AI模型前需获得政府批准。⭐新指南要求科技公司确保其服务或产品不产生偏见、歧视或威胁选举过程的公正性。⭐行业内许多人对印度政策转变感到惊讶和担忧,担心这种监管将阻碍印度在全球竞争中的能力。站长网2024-03-04 17:25:020000AI视野:百川发布Baichuan2-192K大模型;DALL·E3新增种子功能;ChatGPT Plus会员可上传和分析文件;谷歌Bard支持实时生成回复
🤖📈💻💡大模型动态百川智能发布Baichuan2-192K大模型,可处理35万汉字百川智能发布了Baichuan2-192K大模型,拥有全球最长的上下文窗口,处理约35万个汉字,超越了Claude2。百川大模型官网:https://top.aibase.com/tool/baichuandamoxing【AiBase提要】站长网2023-10-30 16:05:510000首秀总观看人次1.1亿,谁还能在快手溅起水花?
在郭聪明、高火火之后,行业内又一主播来快手开播了,这次是有“搞笑女神”之称的刘小啦。早在高火火的快手回归首秀舞台上,刘小啦就作为助演嘉宾亮相,并预告了会在4月20日开启快手直播首秀。刘小啦是一个脱口秀主播。凭借幽默有趣的风格、随性洒脱的性格,在行业内积累了千万粉丝。然而,这么一位在行业内风头无两的优质老主播,也遭遇了发展瓶颈......站长网2023-04-23 18:14:530001Sam Altman:OpenAI 正接近 LLM 规模的极限 规模越大并非模型越好
OpenAI联合创始人兼CEOSamAltman在日前麻省理工学院「想象力行动」活动上谈到了大语言模型(LLM)的发展趋势和安全问题。SamAltman认为,OpenAI正接近LLM规模的极限,规模越大并不一定意味着模型越好,而可能只是为了追求一个数字而已。LLM的规模不再是衡量模型质量的重要指标,未来将有更多的方式来提升模型的能力和效用。站长网2023-04-17 09:47:440000Win11最近一个月卡爆了!CPU占用高元凶终于找到:微软认错
快科技6月23日讯,很多时候遇到电脑卡顿,通常与CPU、内存或者硬盘占用率过高脱不开干系。日前,微软确认,Win11资源管理器的一个严重BUG会导致电脑CPU偶发出现CPU占用率奇高的情况,21H2(Build22000)、22H2(Build22621)等。官方定位后指出,用户访问文件高级共享设置相关菜单并关闭后,该程序事实上并未关闭,反而在后台作祟。站长网2023-06-23 23:42:180000