DeepMind发现大bug:简单攻击即可让ChatGPT泄露大量训练数据
站长网2023-11-30 14:19:420阅
Google DeepMind的研究发现,通过简单的查询攻击方法,可以从ChatGPT中泄露出大约几MB的训练数据,成本仅约200美元,引起社交网络哗然。
研究团队成功攻击了生产级模型,打破了对齐设定,即使模型经过对齐,也能通过命令诱导模型输出训练数据,暴露个人信息,揭示了对抗模型泄露的新途径。
攻击方式采用简单的重复命令,例如让ChatGPT不断重复同一个词,导致模型在输出中逐词复制训练数据,甚至泄露敏感信息,对隐私保护提出挑战。
过去几年,研究团队一直在训练数据提取方面进行研究,该次攻击结果首次表明可以成功攻击生产级的已对齐模型,警示开发者需要在设计和测试阶段更加注重模型的隐私性和防护措施。
研究者建议进行更全面的测试,包括直接测试基础模型、在生产过程中对系统进行测试,以及发布大模型的公司进行内部、用户和第三方组织的测试,以确保模型在各个环节都足够安全。
整体而言,攻击揭示了即使在对齐和预训练数据的情况下,ChatGPT也存在泄露训练数据的风险,强调了在开发和发布大型语言模型时对隐私和安全的关注的重要性。
新的攻击方式提出了对抗模型泄露的新思路,强调了在开发和使用大型语言模型时对隐私和安全的重视,并呼吁进行更全面的测试和防护措施。
0000
评论列表
共(0)条相关推荐
中国电信广东地区崩了?客服回应:正在进行抢修
6月8日下午,许多中国电信广东地区的用户在网络上反映他们所使用的电信卡无法正常工作,无法打电话。相关话题登上了微博热搜榜。面对广东地区电信网络异常的情况,中国电信广东客服发表了声明回应。声明中表示:“受网络异常的影响,部分移动用户无法接听电话。我们正在积极抢修,为此给您带来的不便,我们深表歉意,感谢您的理解和支持。”站长网2023-06-09 19:25:540000小米生态链十年来最大变革!摒弃产品大类 拥抱“SAN分级管理”
快科技3月13日消息,据媒体报道,小米对生态链模式进行了十年以来的一次最大改革,提出了SAN分级管理策略”,并相应做了组织变革。报道称,小米将以S、A、N三个分类逻辑来划分众多生态链品类,其中S类将作为生态链未来最关键的品类,共有音箱、路由器、门锁、摄像头四个方向。0000OpenAI 称《纽约时报》版权诉讼毫无根据 数据来自公开渠道
站长之家(ChinaZ.com)1月9日消息:人工智能公司OpenAI日前对《纽约时报》提起的版权诉讼做出公开回应,称利用公开文章等数据训练AI系统属于“合理使用”。0000Jan:全平台的本地LLM聊天软件
在人工智能领域,一款名为Jan的全平台本地LLM(大型语言模型)聊天软件引起了人们的关注。这款软件的主要特点是支持自动下载模型以及提供非常详细的设置选项,为用户提供了极大的便利性。下载地址:https://top.aibase.com/tool/jan站长网2024-03-26 14:19:210001俞敏洪回应天权提前复出:给予年轻人改正错误的机会
站长之家(ChinaZ.com)1月16日消息:近日,新东方创始人俞敏洪在视频中就天权提前复出一事进行了解释。他表示,对于年轻人犯错,应该给予他们改正的机会。据悉,一个月前,天权在直播中言行不当,俞敏洪对其进行了处罚,要求停播三个月进行反思。然而,经过一个月的反思和成长,天权已经认识到了自己的错误,并采取了实际行动与公司共同成长。站长网2024-01-16 14:31:370000