登陆注册
10075

Autolabel终结人工标注!AI标注比人类标注效率高100倍

站长网2023-09-18 14:49:011

要点:

1、开源工具Autolabel能用LLM代替人工高效标注数据,效率提升100倍,成本仅1/7。

2、Autolabel支持主流LLM,可快速标注NLP数据集,准确率高达88.4%,超过人工标注。

3、Autolabel可估计标注置信度,不同LLM可平衡成本与质量,大幅降低标注门槛。

最近,一家初创公司refuel上线了一个AI标注数据的开源工具Autolabel,它能够利用LLM(如GPT-4等)自动对数据进行标注,大大简化了数据标注流程。

Autolabel支持主流的LLM提供商,并可为开源和私有模型提供支持。与人工标注相比,Autolabel可将标注效率提高100倍,而成本仅为人工成本的1/7。

研究表明,Autolabel结合GPT-4进行标注可取得88.4%的准确率,超过了人工标注的准确率。Autolabel还可以估计标注置信度,允许用户平衡成本和质量。总体来说,Autolabel极大地降低了数据标注的门槛,为训练高质量模型提供了可能。

在接下来的几个月中,开发者承诺将向Autolabel添加大量新功能:如支持更多LLM进行数据标注;支持更多标注任务,例如总结等;支持更多的输入数据类型和更高的LLM输出稳健性;让用户能够试验多个LLM和不同提示的工作流程。

0001
评论列表
共(0)条