音乐领域的ControlNet来了!Music ControlNet可精确控制音乐中的时间变化
Music ControlNet是一款基于扩散(diffusion)技术的音乐生成模型,旨在为文本到音乐生成模型提供多个准确的、时变的音乐控制。虽然现代文本到音乐生成模型已经能够以广泛的风格生成高质量音乐,但文本控制主要适用于操纵全局的音乐属性,如流派、情绪和速度,对于精确控制音乐中时间变化的属性,比如节奏中的拍子位置或音乐动态的变化,则表现不佳。
项目地址:https://musiccontrolnet.github.io/web/
Music ControlNet通过提取训练音频中的控制信息,细调音乐的谱图生成模型,以给定旋律、动态和节奏控制的方式,实现对生成音频的多个准确时变控制。与已有的Uni-ControlNet方法相比,该模型引入了一种新的策略,允许创作者在时间上部分指定控制,从而为音乐创作提供更大的灵活性。
核心功能:
多时变控制: Music ControlNet为音乐生成提供多个时变的控制,包括旋律、动态和节奏,使创作者能够更精细地操控生成音乐的各个方面。
扩散技术: 采用扩散技术,通过对训练音频中提取的控制信息进行微调,实现对音频谱图的条件生成,提高生成音乐的质量和逼真度。
部分指定控制: 与传统模型相比,Music ControlNet引入了一种新的策略,允许创作者在时间上部分指定控制,为创作提供更大的自由度和创造性。
性能优越性: 在与MusicGen等现有音乐生成模型的比较中,Music ControlNet表现出色,生成的音乐与输入旋律的吻合度高达49%,同时具有更少的参数、更短的训练时间,以及对两种额外形式的时变控制的支持。
灵活的应用: 通过提供生成音乐的示例,包括旋律、动态和节奏的各种组合,以及对时间上部分指定控制的支持,Music ControlNet为创作者提供了丰富的工具,用于创作出具有多样性和创新性的音乐作品。
“老年抖人”图鉴
深夜,房间里的灯光被调节得很暗,床上的陈奶奶依旧精神焕发。她戴老花镜,眯着眼睛专注地盯着手机屏幕,手指灵巧地上下滑动着,不时发出咯咯的笑声。这不是陈奶奶第一次探索抖音的世界,而是她每天的“睡前仪式”。随着时间的流逝,疲惫感和困意一同席卷而来,陈奶奶的眼皮逐渐变得沉重,不知不觉进入了梦乡。而手机仍躺在她手边,重复播放着最后一条视频——在她的描述中,她经常看着看着睡着。站长网2023-08-03 20:56:070000腾讯会议接入混元大模型 推出腾讯会议 AI 小助手
在2023年腾讯全球数字生态大会腾讯会议专场上,腾讯会议宣布推出了一系列新功能和产品。腾讯会议宣布接入腾讯混元大模型,提供腾讯会议AI小助手,可以通过语音指令完成多种复杂任务。同时,腾讯会议发布了国内首个裸眼3D视频会议功能,为用户提供高分辨率、高帧率的沉浸式3D视觉体验。站长网2023-09-11 08:57:470000小鹏汽车回应内部供应链反腐:正常的反腐倡廉行为
据财新网消息,小鹏汽车内部宣布采购部门负责人停职,多名员工配合调查。此事始于小鹏汽车内部供应链反腐,牵涉多个层级,亦有警方介入。针对多名员工配合调查的消息,小鹏汽车方面回应表示:公司采取行动是正常的反腐倡廉行为,对于腐败行为发现一起、纠错一起,绝不姑息,此次事件涉及面小,不影响商务、生产环节。站长网2023-10-10 15:49:130000国产ChatGPT命名图鉴
很久不见这般热闹的春天。随着ChatGPT的威名席卷全球,大洋对岸的中国厂商也纷纷亮剑,各式本土大模型你方唱罢我登场,声势浩大的发布会排满日程表。有趣的是,在这些大模型产品初入历史舞台之时,带给世人的第一印象其实不是以亿为单位的参数规模,也不是那些遍布英文缩写的模型特征。事实上,人们第一眼见到的只是名字。具体来说,是一个又一个奇特甚至稍显玄奥的词组。站长网2023-04-26 18:17:530003淘宝发钱,死磕内容
在淘宝月入千万,这是最近某内容机构立下的Flag。一年多来,为了加码内容化,增加平台内的非卖货类视频、直播,淘宝终于还是祭出了“发钱大法”,不少机构、达人也摩拳擦掌准备大干一场。现在打开淘宝逛逛,首先出现在眼前的就是“签到领1元红包”活动。根据规则,用户连续在淘宝看10天视频,最高能得96元现金红包。图源:淘宝站长网2023-08-10 14:04:570000