阿里可控视频生成框架DreaMoving开源
站长网2023-12-21 10:44:040阅
今天,阿里可控视频生成框架DreaMoving正式开源,从网友测试的效果来看,其对人物运动的控制还是比较理想的。
据介绍,DreaMoving是基于扩散模型的可控视频生成框架,用于产生高质量定制的人类视频。DreaMoving允许用户生成具有高度自定义特征的人类视频,如在沙滩上微笑的女孩,中央公园跳舞的亚洲女孩等。
代码:https://github.com/dreamoving/dreamoving-project
试玩地址:https://www.modelscope.cn/studios/vigen/video_generation/summary
DreaMoving是一种可以生成高质量和高保真度视频的技术,它能够根据给定的指导序列和简单的内容描述,例如文本和参考图像作为输入,生成视频。
具体来说,DreaMoving通过人脸参考图像、通过姿势序列进行精确运动操作以及由指定文本提示提示的综合视频外观控制来展示身份控制的熟练程度。这意味着,只需要“投喂”一张人像和一段提示,就能够生成对应的视频,而且改变提示,人物背景和身上的衣服也会跟着变化。
为了实现这一目标,DreaMoving技术引入了两个关键组件:Video ControlNet和Content Guider。其中,Video ControlNet是一个图像ControlNet,通过在每个U-Net块后注入运动块,处理控制序列(姿势或深度)以产生额外的时间残差,从而有效实现了对运动的控制。而Content Guider组件则负责将输入文本提示和外观表达(如人脸,衣物是可选的)转换为内容嵌入,实现跨注意力的传递。
0000
评论列表
共(0)条相关推荐
马云农业品牌申请无椒不欢商标
根据天眼查App的最新信息,一米八食品科技(浙江)有限公司最近提交了一份商标注册申请,申请的商标名称为“无椒不欢”。该商标的国际分类被归类为方便食品,目前正处于等待实质审查的状态。12月18日,新农业品牌“一米八”在杭州正式亮相。前阿里合伙人胡晓明担任一米八农业科技董事长,并兼任首席品控官。站长网2023-12-26 08:58:160000特斯拉股东大会将于北京时间5月17日凌晨4点召开
今日,特斯拉中国官方宣布,股东大会将于北京时间5月17日凌晨4点召开。据特斯拉此前公布数据显示,特斯拉第一季度在全球交付了422,875辆汽车。其中,ModelS/X生产19,437辆,交付10,695辆。Model3/Y生产421,371辆,交付412,180辆。特斯拉2023年第一季度营收为233.29亿美元,同比增长24%,市场预期为232.08亿美元。站长网2023-05-16 16:42:560000WordPress 推出域名托管 100 年计划:保护您的数字遗产一个世纪
站长之家(ChinaZ.com)8月28日消息:如果你担心失去域名,WordPress为你提供了一个100年的解决方案。WordPress.comYoutube宣传视频截图站长网2023-08-28 10:03:530000亚马逊CEO:每个业务部门都有多个生成式AI计划正在进行中
亚马逊的首席执行官AndyJassy在公司的季度财报电话会议上透露,人工智能是他们未来计划的核心。Jassy表示,亚马逊内部的每个业务部门都有多个正在进行中的A.I.项目。这包括他们的零售店、在线广告、流媒体娱乐、云服务和消费电子产品,特别是他们的虚拟助手Alexa。站长网2023-08-04 14:31:340000苹果宣布Apple Music古典乐App国区将上线:免费、完全无广告
快科技1月9日消息,苹果今日宣布,专为古典音乐设计的独立APP《AppleMusic古典乐》将于1月24日在中国大陆推出本地化版本。据悉,AppleMusic已订阅的用户可在1月24日起使用《AppleMusic古典乐》,无需额外付费,且全无广告。据苹果官方介绍,《AppleMusic古典乐》拥有全球规模领先的古典乐流媒体曲库,其中曲目超过500万首。站长网2024-01-10 09:31:180000