研究人员发布了针对ChatGPT和其他LLM的攻击算法
卡内基梅隆大学(CMU)的研究人员发表了 LLM Attacks,这是一种用于构建针对各种大型语言模型(LLM)的对抗攻击的算法,包括 ChatGPT、Claude 和 Bard。这些攻击是自动生成的,对 GPT-3.5和 GPT-4的成功率为84%,对 PaLM-2的成功率为66%。
与大多数通过试错手动构建的“越狱”攻击不同,CMU 团队设计了一个三步过程,自动生成提示后缀,可以绕过 LLM 的安全机制,并导致有害的响应。这些提示也是可转移的,意味着一个给定的后缀通常可以作用于许多不同的 LLM,甚至是闭源模型。为了衡量算法的有效性,研究人员创建了一个名为 AdvBench 的基准;在这个基准上评估时,LLM Attacks 对 Vicuna 的成功率为88%,而基线对抗算法的成功率为25%。根据 CMU 团队的说法:
也许最令人担忧的是,这种行为是否能够被 LLM 提供商完全修复。类似的对抗攻击在计算机视觉领域已经被证明是一个非常难以解决的问题,在过去的10年里。有可能深度学习模型的本质使得这种威胁不可避免。因此,我们认为在增加对这种 AI 模型的使用和依赖时,应该考虑到这些因素。
随着 ChatGPT 和 GPT-4的发布,许多越狱这些模型的技术出现了,它们由可以导致模型绕过其安全措施并输出潜在有害响应的提示组成。虽然这些提示通常是通过实验发现的,但 LLM Attacks 算法提供了一种自动创建它们的方法。第一步是创建一个目标令牌序列:“Sure, here is (content of query)”,其中“content of query”是用户实际的提示,要求有害响应。
接下来,算法通过使用贪婪坐标梯度(GCG)方法,生成一个提示后缀,可以导致 LLM 输出目标序列。虽然这确实需要访问 LLM
谷歌改变人工智能开源策略!想发论文得审批,优先开发产品
OpenAI不讲武德,不仅拿着谷歌的基础模型Transformer开发出了ChatGPT,甚至还挖走了不少谷歌等大厂的员工,打得谷歌是节节败退。面对OpenAI的威胁,谷歌对旗下人工智能业务进行全面改革,决定改变开源策略,谷歌将利用自己在人工智能方面的成果,只有在实验室成果转化为产品后,才会共享论文。站长网2023-05-09 11:11:560000亚马逊机器学习团队推出 Mistral 7B 基础模型 支持8000个token上下文长度
文章概要:-Mistral7B是MistralAI开发的英文文本和代码生成基础模型,参数规模70亿。-SageMakerJumpStart提供一键部署Mistral7B进行推理,可快速自定义。-Mistral7B具有8000个token的上下文长度,表现低延迟和高吞吐量。站长网2023-10-10 10:06:040000DataGPT发布AI分析师,使任何公司高效分析数据
🔍划重点:1.DataGPT的AI分析师:DataGPT发布了一款AI分析师,这是一款能够以自然语言交流的聊天机器人,帮助企业团队理解其数据集的内容和原因。2.工作原理:该AI工具结合了大型自然语言模型的创造性和理解能力,以及DataGPT专有分析引擎的逻辑和推理能力,从而提供相关的见解。站长网2023-10-26 10:14:370000京东CEO许冉:将于7月13日推出京东大模型
在今日的2023全球数字经济大会上,京东集团CEO许冉出席大会主论坛并发表题为《深耕数实融合推动高质量发展》的主题报告。许冉表示,将于7月13日举行的京东全球科技探索者大会暨京东云峰会上,发布京东大模型,推出新一代数字基础设施,致力于服务千行百业跨越产业新智能。站长网2023-07-05 19:25:520000在线设计工具灵动AI 轻松打造电商产品图
灵动AI,一款卓越的在线设计工具,利用先进的人工智能技术,迅速打造专业品质的商品图。这个创新性的工具提供了丰富多样的模板和素材,广泛适用于美妆、快消品、3C数码、家电、家装等各种产品品类。用户只需上传自家商品图片,选择心仪的场景模板,即可轻松生成高质量的商品场景图。而灵动AI不仅支持输出电商主图、电商海报,还能生成商品视频等多样化的营销物料,适应各种用途的需求。站长网2023-11-24 16:55:240000