阿里巴巴等开源语音情感基座模型emotion2vec
情感识别技术在各种场景中都有广泛的应用,如客服机器人根据客户语气调整策略、智能助手根据用户情绪提供建议、情感健康应用监测用户情感状态。为了支持情感理解,上海交通大学、阿里巴巴、复旦大学和香港中文大学的研究者联合开发了通用的语音情感表征模型 emotion2vec。
这个模型利用自监督学习方法在大量无标记的公开情感数据上进行预训练,成功学习到高度通用的语音情感特征。经过多语言和不同场景数据集测试,emotion2vec 在多种情感任务上表现超越了现有技术,为各种情感理解场景提供强大支持,有望提升用户体验和满意度。
基于 emotion2vec,研究者们进一步开发了语音情感识别基座模型。首先在语音情感识别学术数据集上对 emotion2vec 进行 fine-tune,然后对15万小时中英数据进行标注,筛选文本情感与语音情感相同且置信度高的数据,再次 fine-tune emotion2vec,得到该版本权重。相较于以往工作,通过迭代训练和大幅增加数据量,这个模型可作为语音情感识别的基座模型,已经开源并在 modelscope 上线体验 demo。
emotion2vec 的总体框架包括句子级别损失、帧级别损失和在线蒸馏。句子级别损失通过均方误差计算整体全局情绪,包括单嵌入、块嵌入和全局嵌入三种方法。帧级别损失设计为逐帧任务,学习上下文情绪信息。在线蒸馏是一种自监督学习策略,学生网络通过反向传播更新参数,教师网络通过指数移动平均更新参数,促使模型不断学习提升情感特征捕捉和理解能力。
实验结果显示,emotion2vec 在 IEMOCAP 数据集上表现最佳,性能超越其他 SSL 预训练模型和专家模型。在其他主流英语数据集上也展现出优异泛化能力,证明了其在不同环境中的先进性能。这表明 emotion2vec 不仅在训练数据集上表现优秀,还能适应不同录音环境,为多样情感任务提供支持。
emotion2vec通用语音情感表征模型:
https://www.modelscope.cn/models/iic/emotion2vec_base/summary
emotion2vec语音情感识别基座模型在线体验:
https://www.modelscope.cn/models/iic/emotion2vec_base_finetuned/summary
论文链接:
https://arxiv.org/abs/2312.15185
开源代码仓库:
https://github.com/ddlBoJack/emotion2vec
微博上线大熊猫点赞 欢迎丫丫回家
今日,为欢迎旅美大熊猫丫丫回家,微博上线了大熊猫点赞特效,只要点赞部分微博,就可以在屏幕中收获大熊猫特效。据了解,大熊猫丫丫2000年8月3日出生在北京动物园。2003年4月,旅居美国田纳西州孟菲斯动物园,协议期限为10年,2013年到期后又延长了10年。2023年4月7日,旅美大熊猫“丫丫”租借期满。4月27日下午,运送大熊猫“丫丫”的货运专机已降落上海浦东机场。站长网2023-05-12 20:27:050000卢伟冰:小米汽车首批 2S 门店已在装修中
小米集团合伙人、总裁,国际部总裁卢伟冰在微博上宣布,首批小米汽车销售服务合作伙伴已经签约,并且首批2S门店正在装修中,将如期为汽车用户提供Sales&Service等服务。卢伟冰在1月2日的微博中透露,小米集团已于2023年12月29日与首批14家销服合作商在北京总部正式签订合作意向书。这标志着小米汽车销售服务渠道建设的全面提速,小米汽车新零售模式从规划阶段进入实质落地阶段。站长网2024-01-16 06:31:510000周鸿祎回应程前道歉:未来属于不断进步和反思的年轻人
在近期结束的“2023年风马牛年终秀”活动中,一场意外的事件成为了网友们热议的焦点。在圆桌论坛环节中,主理人程前与冯仑、王石、周鸿祎三位嘉宾的对话出现了火药味,引发了广泛的关注和讨论。站长网2024-01-11 09:05:060000BBC 正在阻止 OpenAI 数据抓取:计划与企业合作找出生成式 AI 最佳用途
站长之家(ChinaZ.com)10月7日消息:英国最大的新闻机构BBC已经明确了其在评估生成式人工智能使用时将遵循的原则,包括用于新闻研究和制作、档案和「个性化体验」。图片来自BBCBBC国家总监RhodriTalfanDavies在一篇博客文章中表示,该广播公司相信这项技术提供了向「我们的受众和社会提供更多价值」的机会。站长网2023-10-07 09:48:430004三星旗舰Soc回归!Galaxy S24系列有骁龙和Exynos两种版本
快科技1月18日消息,三星GalaxyS24系列正式发布。对比上代,这次GalaxyS24系列再次启用三星自家的Exynos芯片Exynos2400(上一代GalaxyS23系列全系搭载骁龙8Gen2移动平台)。(图源:三星官网)站长网2024-01-19 08:47:390000