登陆注册
10045

谷歌提出生成式图像动力学:让静态图片动起来

站长网2023-09-18 10:30:490

谷歌团队最新提出「生成图像动力学」,这项研究提出了一种基于图像空间的场景动力学先验模型。该模型可以将单张静态图片转换成无缝循环视频,或者用于与图片中的对象进行交互。

项目地址:https://generative-dynamics.github.io/#demo

研究人员首先从包含自然振荡运动的真实视频中,如树叶摇曳、花朵飘动、蜡烛跳动和衣物飘扬等,提取运动轨迹。然后利用这些轨迹数据训练模型学习图像动力学的先验知识。对于任意输入图片,模型可以预测每个像素的长期运动表示,作者称之为神经随机运动纹理。这些表示随后转换为密集的运动轨迹,可生成整段视频。配合图像渲染模块,这些轨迹可以用于各种下游应用,如将静态图片转换成无缝循环视频,或者让用户可以与图片中的对象进行交互。

利用神经随机运动纹理,研究人员可以模拟对象对用户交互的响应。用户可以在图片中拖动一个点,然后释放手指,场景会根据点的位置和方向产生相应运动。用户还可以点击选择不同的图片进行交互。

通过调整运动纹理的振幅,研究人员可以放大或缩小物体的运动效果。他们还可以通过插值预测的运动纹理来生成慢动作视频。

该方法自动将单张静态图片转换成无缝循环视频,具有广阔的应用前景。它为创作更加逼真的数字内容提供了可能,如将电影片段的单帧转换为可交互的动态场景。该研究为基于单张图片合成视频开辟了新的思路。

特点:

(1)从视频中提取自然运动轨迹,训练获得图像动力学先验模型

(2)对静态图片预测像素级长期运动表示,即神经随机运动纹理

(3)将运动纹理转换为密集运动轨迹,合成动态视频

(4)支持用户与图片中的对象交互

(5)调整运动纹理振幅来控制运动效果

(6)通过插值产生慢动作视频

0000
评论列表
共(0)条