登陆注册
1189

Nvidia发布开源工具包NeMo Guardrails,使文本生成式AI“更安全”

站长网2023-04-27 09:50:090

为了追求“更安全”的文本生成模型,Nvidia 日前发布了开源工具包NeMo Guardrails,旨在使基于 AI 应用程序更加“准确、合理、切合主题和安全”。

Nvidia 应用研究副总裁 Jonathan Cohen 表示,该公司“多年来”一直致力于 Guardrails 的底层系统,但大约一年前才意识到它非常适用于 GPT-4和ChatGPT等模型。

Guardrails 包括代码、示例和文档,可为生成文本和语音的 AI 应用程序“增加安全性”。Nvidia 声称该工具包旨在与大多数生成语言模型一起使用,允许开发人员使用几行代码创建规则。

具体来说,Guardrails 可用于防止——或至少试图防止——模型偏离主题、以不准确的信息或极为负面的语言做出响应,以及与“不安全”的外部来源建立联系。例如,阻止搜索引擎聊天机器人链接到声名狼藉的学术期刊等等。

Cohen 还指出,Guardrails 最适用于“很擅长执行指令”的模型,例如 ChatGPT,并且使用流行的LangChain框架来构建 AI 驱动的应用程序。然而,Nvidia 承认该工具包并不完美,也无法涵盖所有问题。

虽然 Guardrails 是一个开源版本,但 Nvidia 更希望其它公司为其托管版本付费。

0000
评论列表
共(0)条