登陆注册
17048

GPT-4 API曝出重大漏洞 一句prompt就能提取私人信息

站长网2023-12-27 14:19:530

要点:

FAR AI实验室的团队成功通过微调、函数调用和搜索增强等方向,在GPT-4API中发现了重大安全漏洞,使其容易越狱。

通过对GPT-4进行15个有害样本和100个良性样本的微调,研究人员能够让模型生成错误的公众人物信息、提取私人信息,并在代码中插入恶意URL,暴露了潜在的隐私风险。

GPT-4Assistants模型容易暴露函数调用格式,可被诱导执行任意函数调用,同时知识检索也容易受到劫持,揭示了API功能扩展可能带来的新漏洞。

近日,GPT-4API曝出了安全漏洞,FAR AI实验室的团队通过微调、函数调用和搜索增强等方式成功越狱了这一先进模型。微调方面,通过15个有害样本和100个良性样本的微调,研究人员发现GPT-4在生成内容时可能会放下安全戒备,包括生成错误信息、提取私人信息和插入恶意URL。

此外,GPT-4Assistants模型容易暴露函数调用格式,可以被诱导执行任意函数调用,而知识检索也容易受到劫持。这一研究表明,对API功能的扩展可能导致新的漏洞,即便是领先的GPT-4也不例外。

论文地址:https://arxiv.org/pdf/2312.14302.pdf

这种漏洞的潜在风险表现在多个方面。例如,在微调模型时,15个有害的样本就足以使模型产生显著的偏见,比如抹黑公众人物或生成恶意代码。

研究人员还展示了通过微调模型隐藏恶意链接的方法,可能导致用户在不知情的情况下下载恶意软件。另外,通过微调模型,甚至可以获取未公开的信息,比如用户的电子邮件地址。助手模型也易受攻击,例如通过暴露函数调用格式,黑客可能滥用API接口,执行一些需要特殊权限的操作。

这一研究揭示了GPT-4API的潜在风险,即使是在灰盒环境下,也存在越狱和隐私泄露的风险。因此,使用者在利用GPT-4时应当谨慎,避免输入敏感信息,以免受到潜在的威胁。这也提醒开发者和研究人员在模型的设计和API功能扩展时要更加关注安全性,以防范潜在的滥用和漏洞。

0000
评论列表
共(0)条