图片生成精准动态视频,阿里、港大推出新模型LivePhoto
阿里巴巴、香港大学、蚂蚁集团的研究人员提出了一种全新图片生成动态视频模型——LivePhoto。用户通过LivePhoto,可将一张静态图片快速生成高精准的动态视频。
与传统方法不同的是,LivePhoto在开源文生图模型Stable Diffusion基础之上,增加了运动强度和文本加权两大创新模块,可精准掌控动态视频生成过程中的运动强度、文本描述。
研究人员将LivePhoto与主流模型Gen-2、Pikalabs进行了比较,经过多轮测试效果非常卓越。
论文地址:https://arxiv.org/abs/2312.02928
从论文来看,LivePhoto模型主要由三大模块组成:首先是图像内容控制模块,通过多种策略提供强大的像素级和语义级图像指导,从而确保生成序列中每一帧的视觉内容与原图保持高度一致。
其次是运动建模模块,基于知名开源模型Stable Diffusion,仅训练插入的特定组件来捕捉帧间隐含的运动模式。
第三个是额外控制指令模块,是一种运动强度估计和文本重新加权的方法,可有效减少文本到运动映射中的歧义,使得所生成的图像动画视频更好地遵循文本指令描述。
图像内容控制
为了实现生成内容与参考图像保持一致,LivePhoto使用了三种图像指导方法:1)参考潜在表示拼接通过VAE编码器提取参考图像的潜在表示,并直接拼接到模型输入中,实现像素级指导。
2)内容编码器,使用了预训练的DINOv2网络提取参考图像的图像块表示,并通过新增的交叉注意力层注入到UNet网络中,提供全局内容约束。
3)先验反向映射,在推理阶段,将参考潜在表示的反向映射混合到高斯噪声中,为细节生成提供先验知识。
此外,LivePhoto冻结了Stable Diffusion模型的部分功能,仅训练插入了其中的可学习运动模块,用来构建不同帧间的运动联系。相当于每个UNet组件中插入了一个运动模块,采用了类似AnimateDiff的结构。
额外指令
通过图像内容控制和运动模块,基本可以勾勒出大致的运动视频内容。但仍然无法精准控制运动方式,这是因为文本中同时包含内容和运动两个方面的描述,而参考图像起主导作用,容易造成内容描述对运动描述的抑制。
为解决这一问题,开发人员提出了两种额外的指令:
1)运动强度,考虑到文本指令本身很难准确表达运动特征, LivePhoto引入了一个1-10的值来参数化运动强度。这一超参数既可于训练时促进文本与运动的匹配,也为用户提供了方便的推理调节接口。
2)文本加权,为区分文本中与内容和运动相关的部分, LivePhoto设计了文本加权功能。
其目标是检测文本中与运动相关的维度,并对其进行加权放大。这可以减少内容描述带来的干扰,从而增强运动控制能力。
实验结果也证明,在运动强度指导和文本加权的帮助下,LivePhoto展现出了十分出色的零样本视频动画生成性能。
可以处理各种图像输入,同时遵循文本中对运动的描述生成视频。例如,不同的人或动物正在进行的动作,或者虚拟出文本所描写的场景。
此外,用户还可以通过简单调节运动强度的数值,自由定制视频中运动的方式。
于乾坤:选择做“难而正确的事”,让无人驾驶跑进“快车道”
未来属于青年,希望寄予青年。作为这座城市中最积极、最有生气的力量,上海青年正在成为砥砺奋进的生力军和突击队。为选树青年典型,由青年报社策划主办的上海一线青年新榜样推选展示活动将陆续推出系列报道,充分展现新时代奋斗在一线岗位的青年人物有作为、敢担当的榜样精神,引导更多同龄人从中领悟和学习。今天我们所展示的人物是上汽集团赛可智能技术负责人于乾坤。=青年报·青春上海记者蔡娴/文施剑平/图站长网2023-05-24 18:32:0100063个月累计交付7872台 小鹏X9问鼎中国纯电MPV销冠
快科技4月3日消息,小鹏汽车官方今日宣布,小鹏X9三个月累计交付7872台,问鼎中国纯电MPV销冠。据悉,小鹏X9售价区间为35.98万-41.98万元,于今年1月13日开始交付。小鹏X9基于扶摇架构打造,拥有前后一体式铝压铸底盘、全域800V高压平台、XNGP核心技术,同时,该车还是全球唯一标配后轮转向的MPV。站长网2024-04-08 12:41:390000Stability AI发布AI音乐生成工具Stable Audio
要点:位于伦敦的初创公司StabilityAI推出了StableAudio,这是一个使用人工智能从简单的文本输入生成自定义音乐曲目和音效的工具,具备在较长时间内生成专业音频的能力。StableAudio的优势在于其能够以多种流派生成音乐作品,提供用户友好的基于浏览器的界面,面向需要快速背景音乐的创意专业人士。站长网2023-09-14 19:43:060000安卓 15 新设计!音量调节面板功能大改
在最新的Android15开发者预览版中,谷歌带来了全新的音量调节面板设计。这一设计与之前版本相比有了明显的变化。站长网2024-04-06 14:16:150000支付宝推出“12.12支付宝生活节” 准备派发12亿红包
近日,支付宝推出12.12生活节促销活动,从12月1日起至12月12日,在支付宝平台线上线下实现“消费省钱”。用户可通过扫描商家“赚钱红包”二维码领取现金红包,还可在支付宝App上领取更多购物和生活福利。0000