Meta 的开源语音 AI 项目 MMS 可识别 4000 多种口头语言
Meta 公司的人工智能研究团队今天宣布开源一个名为「Massively Multilingual Speech(大规模多语言语音)」的新项目,旨在解决创建准确可靠的语音识别模型的挑战。
图片来自Meta
能够识别人类语音并清晰回应的 AI 模型具有巨大的潜力,特别是对于完全依赖语音访问获取信息的人来说。然而,训练高质量的模型通常需要大量的数据,包括数千小时的音频和对话内容的转录。对于许多语言,特别是那些较为冷门的语言,这样的数据根本不存在。
Meta 的 MMS 项目通过将一种名为 wav2vec 2.0 的自监督学习算法与一个提供了超过 1,100 种语言标记数据和近 4,000 种语言无标记数据的新数据集相结合,克服了数据不足的问题。
为了解决某些语言数据缺乏的问题,Meta 的研究人员利用《圣经》这本在很多语言中已经被翻译的书籍。其翻译通常被用于基于文本的语言翻译研究,并且许多语言而且,还有人们朗读这些文本的公开可用的音频录音。
「作为这个项目的一部分,我们创建了一个包含 1,100 多种语言新约圣经的数据集,平均每种语言提供了 32 小时的数据量,」Meta 的研究人员说道。
当然,32 小时的数据量不足以训练传统的有监督语音识别模型,这就是为什么使用 wav2vec 2.0 的原因。Wav2vec 2.0 是一种自监督学习算法,使机器能够在不依赖于标记训练数据的情况下学习。
借助这种算法,可以用更少的数据训练语音识别模型。MMS 项目在 1,400 多种语言中的约 500,000 小时的语音数据上训练了多个自监督模型,然后对生成的模型进行了特定的语音任务微调,如多语言语音识别或语言识别。
Meta 表示,生成的模型在 FLEURS 等标准评估以及与其他语音识别模型的比较中表现良好。
「我们使用了一个包含 1B 参数的 wav2vec 2.0 模型在 1,100 多种语言上训练了多语言语音识别模型,」Meta 的研究人员解释道,「随着语言数量的增加,性能确实会下降,但幅度很小,:从 61 种语言增加到 1,107 种语言,字符错误率仅增加约 0.4%,但语言覆盖范围增加了 17 倍以上。」
在与 OpenAI LP 的 Whisper 语音识别模型进行直接比较时,Meta 的研究人员发现,使用 MMS 数据训练的模型的单词错误率大约是其一半。「这表明我们的模型在与目前最佳的语音模型相比时表现非常出色,」研究人员表示。
Meta 表示,现在他们正在分享 MMS 数据集和用于改进和训练模型的工具,以便 AI 研究界的其他人能够在此基础上进行进一步的工作。MMS 项目的目标包括扩大其覆盖范围以支持更多的语言,并改善对方言的处理,这是现有语音技术所面临的主要挑战。
「我们的目标是让人们更容易以自己偏好的语言获取信息和使用设备,」研究人员说道,「我们还设想未来的情景是,一个单一模型能够解决所有语言的多种语音任务。虽然我们训练了独立的语音识别、语音合成和语言识别模型,但我们相信将来一个单一模型将能够完成所有这些任务,带来更好的整体性能。」
小米13 Ultra橄榄绿配色亮相 采用第二代科技纳米皮
就在刚刚,雷军公布了小米13Ultra橄榄绿的真机图。后置模组方面,小米13Ultra采用了圆环设计配合质感金环,整机背部采用连贯、流畅的线条,一体化金属机身框架,可达4.4倍的抗弯曲能力。此外,背面采用全新第二代科技纳米皮材料优秀的抗菌、抗脏污、抗黄变能力。具备IP68防尘防水能力。站长网2023-04-17 10:43:100001多家新闻机构要求人工智能训练数据制定新规则
据theverge报道,多家媒体组织呼吁制定规则,保护用于训练生成人工智能模型的数据的版权。这封公开信敦促全球立法者考虑制定法规,要求培训数据集透明并在使用数据进行培训之前征得权利人的同意。他们还要求允许媒体公司与人工智能模型运营商进行谈判,识别人工智能生成的内容,并要求人工智能公司消除其服务中的偏见和错误信息。站长网2023-08-11 10:23:220000AI生成与版权保护
站长网2023-09-14 21:35:310000通义千问上线AI生成拜年视频功能 提供300套照片模板
阿里云通义千问APP推出多项免费新应用,引入全新图像生成玩法,包括全家福、拜新年、万物成龙等。这次更新涵盖了超过300套照片模板,用户只需上传照片即可生成多样化的主题照片,如全家福、团圆照、拜年照和千里江山等。产品入口:https://top.aibase.com/tool/tongyiqianwen站长网2024-02-05 15:28:580000波音公司正利用 AI 从庞大的数据中剔除安全隐患
波音公司正在利用人工智能来筛选海量的数据,并识别其飞机和航空公司运营中的潜在危险,以加强它在两起致命的737Max坠机事件之后试图增加的安全文化。站长网2023-05-25 15:41:490000