大模型界的“熊猫烧香”,可对文生图模型造成巨大伤害!
《麻省理工技术评论》分享了一个名为Nightshade的投毒工具,可以对DALL-E、Midjourney 和Stable Diffusion等文生图模型的训练数据造成造成巨大伤害,以帮助艺术家们防止非法爬取其画作数据,用于大模型训练,同时揭露了模型存在的安全隐患。
Nightshade使用的攻击技术和优化策略,可以在保持图像视觉效果不变的情况下,通过很小的扰动改变图像的内在特征,既能起到攻击效果又可以避开检测。
将Nightshade的毒数据融合到训练数据中,会使得模型生成的内容崩溃或出现“驴唇不对马嘴”的情况,例如,生成狗的图片会变成猫,生成汽车的图片会变成牛等。
当多个概念被攻击时, 可以在同一个模型上实现Buff叠加,最高可导致模型提示生成的内容全部失效或无法响应提示。
这极强的毒性让人联想到了10多年前名震天下的“熊猫烧香”病毒,都有隐蔽、繁殖强和Buff叠加的特性。
测试数据显示,Nightshade的攻击成功率极高,只需要大约100个投毒样本就可以使模型在特定提示生成错误的图像,与传统攻击相比,所需的数据量降低90%以上。
论文地址:https://arxiv.org/abs/2310.13828
研究人员通过分析知名训练数据集LAION-Aesthetic的数据特征发现,每个概念在数据集中的训练样本数量极为有限。
用关键词频率和语义频率两个指标衡量各概念在数据集中的稀疏程度时,发现92%以上的概念其训练样本数量不足整个数据集的0.2%,存在非常明显的安全漏洞。
基于这个发现,研究人员开发了Nightshade一种“脏标签”的攻击方法。
文本提示选择
Nightshade首先需要选择相关的文本提示作为投毒攻击的目标。从一个自然图像文本配对数据集中选择包含投毒概念C的文本提示。
为了最大化每一个文本提示对模型的影响,Nightshade选择那些在文本 embedding 空间中与概念C语义最相关的文本提示。
算法是计算每一个文本t与概念C的余弦相似度,然后选择相似度最高的5K个文本作为投毒文本集Textp。
锚定图像生成
Nightshade需要为每个投毒文本生成相应的“锚定图像”。锚定图像是模型在非投毒状态下根据目标概念C所生成的原型图像。
为此,Nightshade使用可访问的非投毒生成模型,以“一张{A}的照片”或者“一副{A}风格的画”的形式查询目标概念A,生成Np副锚定图像集Imageanchor。这些锚定图像为后续的图像优化提供目标指导。
优化图像扰动
这是关键的一步,Nightshade使用优化方法为每一个投毒文本生成经过扰动的对应图像,以取代原始的锚定图像。
对每个投毒文本t,找到其对应的自然图像xt。以xt为基础,计算一个小的扰动量δ,使得xt δ在特征提取器F下接近锚定图像xa。
这一步的目的是让最终的投毒图像在视觉上类似自然图像,而内在特征却接近锚定图像,以实现投毒效果。
生成投毒数据
经过上述步骤,每一个投毒文本t都对应一个经过优化的投毒图像x'。将它们组合成文本/图像配对,构成最终的投毒数据集{Textp/Imagep}。
然后将优化后的毒数据与正常训练数据一起用于训练目标生成模型。毒数据会导致模型在生成与概念C相关的图像时产生巨大错误。
Nightshade的其他作用
Nightshade除了可帮助艺术家们保护自己的画作数据,这为大模型的训练、安全等起到了关键的警示作用。
揭示了训练数据稀疏性问题:Nightshade的数据攻击主要利用了当前模型训练数据中概念稀疏性这个漏洞。这说明需要收集更丰富和多样化的数据,提高每个概念的训练密度,增强模型的鲁棒性。
新的数据对抗训练:Nightshade这种对抗攻击数据可以服务于对抗训练,提升模型对抗扰动的鲁棒性,带来了一种全新的对抗训练思路。
大模型也容易被攻击:Nightshade的出现,表明当前模型存在安全隐患,需要进行安全性设计和评估,提高对抗攻击的安全意识。
康奈尔大学研究AI模型安全的教授 Vitaly Shmatikov表示,我们还没有准备好,如何应对那些针对大模型的攻击措施,也没有看到哪些大模型被攻击过。
Nightshade很好地揭露了AI模型所存在的一些安全漏洞,这对于搭建防御体系非常有帮助。
本文素材来源Nightshade论文,如有侵权请联系删除
微软Windows 11 Paint新增AI生成图像功能(附使用教程)
各种人工智能图像生成器将根据您的描述创建图像。但最贴近家庭的一个是微软自己的画图程序。借助Windows11版本的Paint,Windows11用户可以使用名为Cocreator的AI驱动工具来生成图像。除了描述您想要的内容之外,还可以选择特定的风格,例如水彩或照片写实风格。作为回应,Cocreator创建了三个不同的图像,允许编辑或保存最喜欢的图像。让我们看看这是如何工作的。站长网2024-01-17 14:27:580000看完小米汽车发布会,年轻人都要说句“我不配”
蓝色射灯划破黑暗,在激光写就的标志“MI”之下,两台小米SU7终于露出了真面目,雷军口中的“米字”水滴大灯在无比耀眼,伴随着车身的旋转俯瞰着整个会场。小米汽车,终于从官方途径正式亮相了。这已经是小米官宣造车的第1003天,过去的三年里,小米宣称投入超过100亿,吸引了全球各大车企的顶尖造车人才,在艰苦卓绝的技术攻坚后,终于将这场名为“跨越”的技术发布会带到我们眼前。0000格力回应玫瑰空调被吐槽又土又贵:送给所有用户的艺术品
站长之家(ChinaZ.com)1月5日消息:近期,董明珠亲自设计的格力玫瑰空调引发网友热议。部分网友认为这款空调的外观设计落后于时代,与90年代的审美无异。此外,该空调的售价高达29999元,令许多消费者望而却步。然而,格力官方对这一质疑进行了回应,强调玫瑰空调不仅是产品的升级,更是一份赠送给所有用户的艺术品。格力希望通过这一设计,传递出“让世界爱上中国造”的美好愿景。站长网2024-01-05 08:16:340004华为畅享60 Pro将于5月18日发布
华为宣布,将在5月18日举行夏季全场景新品发布会,并发布畅享60Pro。据悉该手机采用了直屏设计,后置摄像头采用了“双环”设计,正面则配备了一块中置挖孔屏。此外,华为还将在发布会上一同发布全新华为WATCH4、华为MatePad、华为MateBook等系列。站长网2023-05-15 15:14:030000Google发布AI编程助手AlphaCode2,基于Gemini系统
**划重点:**1.🌐AlphaCode2是由Gemini模型驱动的改进版编程工具,在编程竞赛中表现优异,特别是在动态规划等复杂问题上。2.🏆在Codeforces平台的编程竞赛中,AlphaCode2相比前代提升,以Python、Java、C和Go等语言编码,平均胜过约85%的竞争对手。站长网2023-12-07 15:48:370004