看不下去AI胡说八道,英伟达出手给大模型安了个“护栏”
大模型们胡说八道太严重,英伟达看不下去了。
他们正式推出了一个新工具,帮助大模型说该说的话,并回避不应该触碰的话题。
这个新工具名叫“护栏技术”(NeMo Guardrails),相当于给大模型加上一堵安全围墙,既能控制它的输出、又能过滤输入它的内容。
一方面,用户诱导大模型生成攻击性代码、输出不道德内容的时候,它就会被护栏技术“束缚”,不再输出不安全的内容。
另一方面,护栏技术还能保护大模型不受用户的攻击,帮它挡住来自外界的“恶意输入”。
现在,这个大模型护栏工具已经开源,一起来看看它的效果和生成方法。
防止大模型胡言乱语的三类“护栏”
根据英伟达介绍,目前NeMo Guardrails一共提供三种形式的护栏技术:
话题限定护栏(topical guardrails)、对话安全护栏(safety guardrails)和攻击防御护栏(security guardrails)。
话题限定护栏,简单来说就是“防止大模型跑题”。
大模型具备更丰富的想象力,相比其他AI更容易完成创造性的代码和文字编写工作。
但对于特定场景应用如写代码、当客服而言,至少用户不希望它在解决问题时“脱离目标范围”,生成一些与需求无关的内容。
这种情况下就需要用到话题限定护栏,当大模型生成超出话题范围的文字或代码时,护栏就会将它引导回限定的功能和话题上。
对话安全护栏,指避免大模型输出时“胡言乱语”。
胡言乱语包括两方面的情况。
一方面是大模型生成的答案中包括事实性错误,即“听起来很有道理,但其实完全不对”的东西;
另一方面是大模型生成带偏见、恶意的输出,如在用户引导下说脏话、或是生成不道德的内容。
攻击防御护栏,即防止AI平台受到来自外界的恶意攻击。
这里不仅包括诱导大模型调用外部病毒APP从而攻击它,也包括黑客主动通过网络、恶意程序等方式攻击大模型。护栏会通过各种方式防止这些攻击,避免大模型瘫痪。
所以,这样的护栏要如何打造?
如何打造一个大模型“护栏”?
这里我们先看看一个标准的“护栏”包含哪些要素。
具体来说,一个护栏应当包括三方面的内容,即格式规范(Canonical form)、消息(Messages)和交互流(Flows)。
首先是格式规范,即面对不同问题的问法时,规定大模型要输出的内容。
例如被问到“XX文章是什么”,大模型必须给出特定类型的“文章”,而非别的东西;被问到“谁发表了什么”,大模型必须给出“人名”,而非别的回答。
然后是消息定义,这里以“用户问候”话题为例,大模型可以输出这些内容:
最后是交互流的定义,例如告诉大模型,怎么才是问候用户的最好方式:
一旦问候用户的机制被触发,大模型就会进入这个护栏,规规矩矩地问候用户。
具体工作流程如下:首先,将用户输入转换成某种格式规范(canonical form),据此生成对应的护栏;随后,生成行动步骤,以交互流指示大模型一步步完成对应的操作;最后,根据格式规范生成输出。
类似的,我们就能给大模型定义各种各样的护栏,例如“应对用户辱骂”的护栏。
这样即使用户说出“你是个傻瓜”,大模型也能学会冷静应对:
目前,英伟达正在将护栏技术整合进他们的AI框架NeMo中,这是个方便用户创建各种AI模型、并在英伟达GPU上加速的框架。
对“护栏”技术感兴趣的小伙伴们,可以试一试了~
开源地址:
https://github.com/NVIDIA/NeMo-Guardrails
参考链接:
https://www.nvidia.com/en-us/ai-data-science/generative-ai/nemo-framework/
百川智能发布超千亿大模型Baichuan 3 中文任务超车GPT-4
要点:1、百川智能发布了基础模型第三代版本Baichuan3,医疗场景、文学创作和逻辑推理能力均获得升级和突破。2、Baichuan3在医疗领域的评测成绩超越了GPT-4水平,各项评测能力大幅超越GPT-3.5,表现出卓越的逻辑思考和问题解决技能。3、百川智能Baichuan3模型在MMLU测试集、CMMLU和GAOKAO等中文任务评测中成绩均超越GPT-4,显示出超千亿大模型的强大实力。站长网2024-01-29 15:11:240000EmojiGen:一个开源表情符号生成器网站
EmojiGen是一个开源的表情符号生成器。它使用了先进的AI技术,可以根据用户的文字描述快速生成有趣的表情符号图片。用户只需要在输入框中输入一个词或短语,EmojiGen就会立即生成相关的表情符号。用户可以输入简单的词语如“猫”或者“击掌”,它就可以生成适当的表情符号图片。生成的图片可以下载保存,并可以上传到Slack等即时通讯软件中使用。站长网2023-10-09 16:56:210000莫迪:需要全球框架确保人工智能的伦理使用
文章概要:1.莫迪在B20峰会上称,需要建立全球框架,确保人工智能的伦理使用,避免算法偏见影响社会。2.莫迪警告企业,如果供应链韧性和可持续性得不到改善,会酿成一种新形式的殖民主义。3.莫迪强调需要采取更加综合的方法应对加密货币问题。站长网2023-08-28 10:55:440000七部门:支持人工智能企业研发视听应用大模型
工业和信息化部等七部门印发《关于加快推进视听电子产业高质量发展的指导意见》。图源备注:图片由AI生成,图片授权服务商Midjourney其中提出,支持彩电龙头企业丰富产品矩阵,完善产业链条,开拓海外市场,持续提升生态主导力,引领行业发展。鼓励音箱、耳机、麦克风代工企业发展自有品牌,提升产品附加值和行业影响力。加快培育商用显示、车载视听、音视频领域的专精特新“小巨人”、制造业单项冠军。0000Meta AI 发布 MMCSG数据集:使用 Project Aria 捕获的 25 小时以上的双向对话
划重点:-💡CHiME-8MMCSG任务专注于通过智能眼镜录制的对话转录挑战,旨在帮助研究人员解决活动检测和说话者分离等问题。-💡提出的模型利用多模态数据集MSCSG数据集,包括音频、视频和IMU信号,以提高转录准确性。-💡通过整合各种技术来改善实时对话的转录准确性,包括目标说话者识别/定位、说话者活动检测、语音增强、语音识别和对话。0000