谷歌承认“窃取”OpenAI模型关键信息:成本低至150元,调用API即可得手
什么?谷歌成功偷家OpenAI,还窃取到了gpt-3.5-turbo关键信息???
是的,你没看错。
根据谷歌自己的说法,它不仅还原了OpenAI大模型的整个投影矩阵(projection matrix),还知道了确切隐藏维度大小。
而且方法还极其简单——
只要通过API访问,不到2000次巧妙的查询就搞定了。
成本根据调用次数来看,最低20美元以内(折合人民币约150元)搞定,并且这种方法同样适用于GPT-4。
好家伙,这一回奥特曼是被将军了!
这是谷歌的一项最新研究,它报告了一种攻击窃取大模型关键信息的方法。
基于这种方法,谷歌破解了GPT系列两个基础模型Ada和Babbage的整个投影矩阵。如隐藏维度这样的关键信息也直接破获:
一个为1024,一个为2048。
所以,谷歌是怎么实现的?
攻击大模型的最后一层
该方法核心攻击的目标是模型的嵌入投影层(embedding projection layer),它是模型的最后一层,负责将隐藏维度映射到logits向量。
由于logits向量实际上位于一个由嵌入投影层定义的低维子空间内,所以通过向模型的API发出针对性查询,即可提取出模型的嵌入维度或者最终权重矩阵。
通过大量查询并应用奇异值排序(Sorted Singular Values)可以识别出模型的隐藏维度。
比如针对Pythia1.4B模型进行超过2048次查询,图中的峰值出现在第2048个奇异值处,则表示模型的隐藏维度是2048.
可视化连续奇异值之间的差异,也能用来确定模型的隐藏维度。这种方法可以用来验证是否成功从模型中提取出关键信息。
在Pythia-1.4B模型上,当查询次数达到2047时出现峰值,则表明模型隐藏维度大小为2048.
并且攻击这一层能够揭示模型的“宽度”(即模型的总体参数量)以及更多全局性的信息,还能降低一个模型的“黑盒程度”,给后续攻击“铺路”。
研究团队实测,这种攻击非常高效。无需太多查询次数,即可拿到模型的关键信息。
比如攻击OpenAI的Ada和Babbage并拿下整个投影矩阵,只需不到20美元;攻击GPT-3.5需要大约200美元。
它适用于那些API提供完整logprobs或者logit bias的生成式模型,比如GPT-4、PaLM2。
论文中表示,尽管这种攻击方式能获取的模型信息并不多,但是能完成攻击本身就已经很让人震惊了。
已通报OpenAI
如此重要的信息被竞争对手以如此低成本破解,OpenAI还能坐得住吗?
咳咳,好消息是:OpenAI知道,自己人还转发了一波。
作为正经安全研究,研究团队在提取模型最后一层参数之前,已征得OpenAI同意。
攻击完成后,大家还和OpenAI确认了方法的有效性,最终删除了所有与攻击相关的数据。
所以网友调侃:
一些具体数字没披露(比如gpt-3.5-turbo的隐藏维度),算OpenAI求你的咯。
值得一提的是,研究团队中还包括一位OpenAI研究员。
这项研究的主要参与者来自谷歌DeepMind,但还包括苏黎世联邦理工学院、华盛顿大学、麦吉尔大学的研究员们,以及1位OpenAI员工。
此外,作者团队也给了防御措施包括:
从API下手,彻底删除logit bias参数;或者直接从模型架构下手,在训练完成后修改最后一层的隐藏维度h等等。
基于此,OpenAI最终选择修改模型API,“有心人”想复现谷歌的操作是不可能了。
但不管怎么说:
谷歌等团队的这个实验证明,OpenAI锁紧大门也不一定完全保险了。
(要不你自己主动点开源了吧)
论文链接:
https://arxiv.org/abs/2403.06634
参考链接:
https://twitter.com/arankomatsuzaki/status/1767375818391539753
Google 升级 Gmail 人工智能垃圾邮件过滤器:RETVec 现能有效识别并处理「对抗性文本操纵」
站长之家(ChinaZ.com)12月5日消息:Google在其安全博客上宣布,Gmail的垃圾邮件过滤功能经历了近年来最大规模的升级。这一升级主要体现在一种名为RETVec(Resilient&EfficientTextVectorizer,弹性高效文本向量化器)的新文本分类系统上。0000李彦宏称“程序员”职业将不复存在:会说话就能当程序员!
快科技3月10日消息,在昨天央视的《对话》开年说节目上,百度创始人、董事长兼CEO李彦宏表示,未来只要会说话就能具备今天程序员所具备的能力。当被问及未来两年大模型会给人类的生产生活带来什么改变时,李彦宏回答道:我认为大模型对于人类生产生活的改变会是非常根本性的。”互联网改变了我们的很多生活,但是这一波人工智能的改变,会更加的彻底、更加的深刻。0000淘宝卖家狂喜!AI产品摄影平台Pebblely一键即可生成完美产品图
Pebblely是一个AI产品摄影平台。只需上传常规图片,Pebblely会自动去除背景,并生成具有完美光线、反射和阴影的产品照片。用户只需点击一下按钮,Pebblely就能为产品生成多种风格迥异的照片。这些照片可用于电商网站、社交媒体推广,或者作为设计灵感的素材。体验地址:https://app.pebblely.com/站长网2023-09-01 18:01:550000好莱坞空前大罢工,这锅AI背不背?
烈日下的枝叶被剪除了。2023年7月17日,处在罢工状态的好莱坞工会成员克里斯·斯蒂芬斯注意到,环球影业公司忽然派人修建了总部示威活动附近的树木,只留下一排光秃秃的树干。在旁人看来,这或许是一个令人摸不着头脑的举动。但对近来正在户外示威的工人来说,恶意是如此直接明了——可供乘凉的阴影消失,要想继续抗议,人们就不得不忍受洛杉矶夏日的暴晒。站长网2023-07-24 15:03:320000