登陆注册
13575

亚马逊 AWS 将提供人类基准测试团队来测试人工智能模型

站长网2023-11-30 10:09:530

亚马逊希望用户能够更好地评估人工智能模型,并鼓励更多人参与这一过程。

AWS re:Invent 大会上,AWS 数据库、分析和机器学习副总裁 Swami Sivasubramanian 宣布推出宣布 Bedrock 上的模型评估,现已提供预览,用于评估其存储库 Amazon Bedrock 中的模型。如果没有一种透明的测试模型的方式,开发者可能最终会使用不够准确的模型来处理问答项目,或者使用对他们的用例来说过大的模型。

Sivasubramanian 说:「模型的选择和评估不仅仅在开始时进行,而且是定期重复的事情。我们认为让人类参与循环是很重要的,所以我们提供了一种管理人类评估工作流程和模型性能指标的方法。

Sivasubramanian 在此前接受的采访中表示,有时一些开发者不知道他们是否应该使用更大的模型来进行项目,因为他们假设更强大的模型会满足他们的需求。后来他们发现,他们本可以基于一个更小的模型来构建

模型评估包括两个部分:自动评估和人工评估。在自动版本中,开发者可以进入他们的 Bedrock 控制台并选择一个模型进行测试。然后,他们可以根据像鲁棒性、准确性或有害性等指标来评估模型在任务上的性能,如摘要、文本分类、问答和文本生成。 Bedrock 包括了流行的第三方人工智能模型,如 Meta 的 Llama 2. Anthropic 的 Claude 2 和 Stability AI 的 Stable Diffusion

尽管 AWS 提供测试数据集,但客户可以将自己的数据带入基准测试平台,以便更好地了解模型的行为。然后系统生成一份报告。

如果涉及到人类,用户可以选择与 AWS 的人工评估团队或他们自己的团队合作。客户必须指定任务类型(例如摘要或文本生成)、评估指标以及他们想使用的数据集。AWS 将为与其评估团队合作的用户提供定制化的定价和时间表。

AWS 生成式人工智能副总裁 Vasi Philomin 在接受采访时表示,更好地了解模型的性能有助于更好地指导开发。它还允许公司在使用模型之前,看看模型是否不符合一些负责任的人工智能标准——比如有害性敏感度过低或过高。

Philomin 说:「重要的是模型要为我们的客户工作,要知道哪个模型最适合他们,我们正在给他们一种更好地评估这一点的方法。」

Sivasubramanian 还表示,当人类评估人工智能模型时,他们可以检测到自动系统无法检测到的其他指标——比如同理心或友好度

Philomin 表示,AWS 不会要求所有客户都对模型进行基准测试,因为一些开发者可能之前已经使用过 Bedrock 上的一些基础模型,或者对模型对他们有何用处已有所了解。那些仍在探索要使用哪些模型的公司,可能会从经历基准测试过程中受益。

AWS 表示,虽然基准测试服务目前处于预览阶段,但它只会对评估期间使用的模型推理收费。

尽管没有特定的人工智能模型基准测试标准,但某些行业普遍接受特定的指标。Philomin 表示, Bedrock 上的基准测试的目标不是广泛评估模型,而是为公司提供一种衡量模型对其项目影响的方式。

0000
评论列表
共(0)条