简单攻击即可让ChatGPT泄露大量训练数据

GoogleDeepMind的研究发现，通过简单的查询攻击方法，可以从ChatGPT中泄露出大约几MB的训练数据，成本仅约200美元，引起社交网络哗然。研究团队成功攻击了生产级模型，打破了对齐设定，即使模型经过对齐，也能通过命令诱导模型输出训练数据，暴露个人信息，揭示了对抗模型泄露的新途径。