阿里巴巴推大规模音频语言模型Qwen-Audio
要点:
阿里巴巴研究团队推出了Qwen-Audio系列,这是一组具有通用音频理解能力的大规模音频语言模型。
Qwen-Audio通过采用层次标签的多任务框架,成功应对了多样化任务的挑战,并在基准任务上取得了令人印象深刻的性能,无需特定任务的微调。
Qwen-Audio-Chat是在Qwen-Audio基础上构建的,支持多轮对话和各种音频中心场景,展示了其通用音频理解能力。
阿里巴巴研究团队最近推出的Qwen-Audio系列为大规模音频语言模型领域带来了重大突破。该系列通过采用层次标签的多任务框架,成功解决了有限的预训练音频模型面临的多样化任务的挑战。
相比之前专注于语音的工作,Qwen-Audio不仅包含人类语音,还涵盖了自然声音、音乐和歌曲,实现了在具有不同粒度的数据集上的协同训练。该模型在语音感知和识别任务方面表现出色,而无需进行特定任务的修改。
Qwen-Audio的多任务框架有助于减轻干扰,实现了在基准任务上的显著性能。Qwen-Audio-Chat作为扩展,不仅支持多轮对话,还适用于各种音频中心场景,展示了在大规模音频语言模型中全面的音频交互能力。
项目地址:https://github.com/qwenlm/qwen-audio
尽管大规模语言模型在通用人工智能方面表现出色,但它们缺乏对音频的理解。Qwen-Audio系列的推出填补了这一空白,将预训练扩展到30个任务和多种音频类型。
Qwen-Audio系列的训练方法分为两种:Qwen-Audio采用多任务预训练方法,优化音频编码器同时冻结语言模型权重;相反,Qwen-Audio-Chat采用监督微调,优化语言模型同时固定音频编码器权重。这一训练过程包括多任务预训练和监督微调,使Qwen-Audio-Chat具有多样的人际交互能力,支持从音频和文本输入中的多语言、多轮对话。
Qwen-Audio在各种基准任务上表现出色,明显优于没有特定任务微调的对照组。它在AAC、SWRT ASC、SER、AQA、VSC和MNA等任务上始终超越基线,同时在CochlScene、ClothoAQA和VocalSound上取得了最先进的结果,展示了其在挑战性音频任务中的有效性和能力。
Qwen-Audio系列未来的探索方向包括扩展不同音频类型、语言和特定任务的能力。通过优化多任务框架或探索替代的知识共享方法,可以解决协同训练中的干扰问题。
研究人员还计划通过不断更新基于新基准、数据集和用户反馈的内容,提高通用音频理解水平。Qwen-Audio-Chat将进一步优化以符合人类意图,支持多语言互动,并实现动态多轮对话。
于乾坤:选择做“难而正确的事”,让无人驾驶跑进“快车道”
未来属于青年,希望寄予青年。作为这座城市中最积极、最有生气的力量,上海青年正在成为砥砺奋进的生力军和突击队。为选树青年典型,由青年报社策划主办的上海一线青年新榜样推选展示活动将陆续推出系列报道,充分展现新时代奋斗在一线岗位的青年人物有作为、敢担当的榜样精神,引导更多同龄人从中领悟和学习。今天我们所展示的人物是上汽集团赛可智能技术负责人于乾坤。=青年报·青春上海记者蔡娴/文施剑平/图站长网2023-05-24 18:32:010006科大讯飞:6月9日将发布星火APP等多个产品级应用
科大讯飞表示,星火大模型5月6日已实现产品级发布,该技术突破带来科大讯飞AI学习机的中英文作文辅导、中英文口语学习,以及讯飞听见一段录音一键成稿、讯飞办公本自动文本摘要等功能体验的显著提升,进一步增强公司产品的竞争力。6月9日还将进一步实现星火APP等多个产品级应用发布;同时,讯飞会继续开放AI能力,联合各行业合作伙伴面向多个行业共建大模型站长网2023-06-05 23:57:160000疯狂的街拍:谁在用你的照片赚钱?
城市街拍再一次走上风口浪尖,缘于一次偶然曝光的“牵手”。不久前,一名中年男子和一名年轻女子身着粉色“情侣装”,在成都太古里牵手逛街的视频在网络上疯传。最开始,这只是驻扎在太古里的摄影师常年“创作”的街拍作品之一,后来,网友扒出照片上两位主人公均供职于中石油,为上下级,并且二人还是婚外情关系。站长网2023-06-13 17:58:250002LAION呼吁欧盟鼓励开源AI模型应用
要点:1、AI组织LAION在给欧洲议会的公开信中建议,AI领域的监管努力应该鼓励使用开源AI模型。2、LAION表示,相比封闭源模型,开源AI模型因其透明性具有更大的安全性、问责制、可复制性和鲁棒性。3、LAION还推出了OpenLM,这是一个用于高效训练中型语言模型的PyTorch代码库,其性能优于类似的开源模型。站长网2023-09-27 10:04:000000董宇辉独立直播间首播:1小时涨粉105万,带货值抖音第一
1月9日消息,今日晚间19时00分,董宇辉抖音独立账号「与辉同行」正式首播,开播不到半分钟观看人数高达10万,人气榜和小时榜双榜全平台第一。本场直播主题为“2024从心出发”,将由与辉同行账号的常驻主播传熙、盼盼、鹏鹏、安安、汉森、董董、潇潇集中亮相,董宇辉和俞敏洪的双人对话两个部分组成。0000