登陆注册
11737

MIT等机构推出数据溯源平台 解决AI领域的数据透明危机

站长网2023-10-26 10:45:160

🔍 划重点:

1. 研究人员联合MIT、Cohere for AI等机构发布了Data Provenance Platform,旨在解决AI领域的数据透明危机。

2. 他们对近2,000个广泛使用的微调数据集进行了审计和追踪,这些数据集已被下载数千万次,是许多自然语言处理(NLP)突破的基础。

3. 报告指出,数据集的溯源和透明度问题可能导致数据泄漏、暴露个人身份信息、出现意外偏见或行为,从而降低了模型的质量,同时也带来了法律和伦理风险。

研究人员来自麻省理工学院(MIT)、Cohere for AI以及其他11个机构,他们共同发布了Data Provenance Platform,旨在应对AI领域的数据透明危机。这一平台的推出旨在解决AI模型训练数据集的来源和使用透明度不足的问题,这是当前AI领域亟待解决的挑战之一。

图源备注:图片由AI生成,图片授权服务商Midjourney

这个跨机构合作的倡议审计和追踪了近2,000个广泛使用的微调数据集。这些数据集被下载了数千万次,被认为是许多自然语言处理(NLP)领域突破的基础。这一举措的发起者包括MIT Media Lab的博士候选人Shayne Longpre和Cohere for AI的负责人Sara Hooker。

这个跨学科倡议的结果是迄今为止规模最大的AI数据集审计。这些数据集首次包含了标签,用于指示原始数据来源、多次重新授权、创建者和其他数据属性。为了使这些信息实际可操作并易于获取,他们还开发了一个名为"Data Provenance Explorer"的互动平台,允许开发人员根据法律和伦理考虑来跟踪和筛选成千上万个数据集,同时也让学者和记者探索流行AI数据集的组成和数据渊源。

与此同时,他们还发布了一份名为"The Data Provenance Initiative: A Large Scale Audit of Dataset Licensing & Attribution in AI"(数据来源倡议:人工智能中数据集许可和归属的大规模审计)的研究报告。报告指出,越来越多的广泛使用的数据集被视为单一整体,而不是一系列数据来源,这些数据经过多次包装和重新授权。这种处理方式的缺点在于,它们通常不充分注明数据来源和版权信息,这导致了对训练数据的理解不足。这一不足可能导致训练数据和测试数据之间的数据泄漏,暴露个人身份信息,导致意外的偏见或行为,最终降低了模型的质量。此外,这也带来了伦理和法律风险,例如,模型发布与数据使用条款可能相互抵触。这些挑战都不容易解决,因为在数据上训练模型既昂贵又基本不可逆转。

Data Provenance Platform的推出有望改善AI领域的数据透明度,提高数据集的质量和伦理合规性,从而推动AI技术的可持续发展。这一举措也将有助于减少AI模型中的潜在问题,如偏见、数据泄漏和法律风险,为AI技术的广泛应用提供更可靠的基础。

0000
评论列表
共(0)条