谷歌提出生成式图像动力学:让静态图片动起来
站长网2023-09-18 10:30:490阅
谷歌团队最新提出「生成图像动力学」,这项研究提出了一种基于图像空间的场景动力学先验模型。该模型可以将单张静态图片转换成无缝循环视频,或者用于与图片中的对象进行交互。
项目地址:https://generative-dynamics.github.io/#demo
研究人员首先从包含自然振荡运动的真实视频中,如树叶摇曳、花朵飘动、蜡烛跳动和衣物飘扬等,提取运动轨迹。然后利用这些轨迹数据训练模型学习图像动力学的先验知识。对于任意输入图片,模型可以预测每个像素的长期运动表示,作者称之为神经随机运动纹理。这些表示随后转换为密集的运动轨迹,可生成整段视频。配合图像渲染模块,这些轨迹可以用于各种下游应用,如将静态图片转换成无缝循环视频,或者让用户可以与图片中的对象进行交互。
利用神经随机运动纹理,研究人员可以模拟对象对用户交互的响应。用户可以在图片中拖动一个点,然后释放手指,场景会根据点的位置和方向产生相应运动。用户还可以点击选择不同的图片进行交互。
通过调整运动纹理的振幅,研究人员可以放大或缩小物体的运动效果。他们还可以通过插值预测的运动纹理来生成慢动作视频。
该方法自动将单张静态图片转换成无缝循环视频,具有广阔的应用前景。它为创作更加逼真的数字内容提供了可能,如将电影片段的单帧转换为可交互的动态场景。该研究为基于单张图片合成视频开辟了新的思路。
特点:
(1)从视频中提取自然运动轨迹,训练获得图像动力学先验模型
(2)对静态图片预测像素级长期运动表示,即神经随机运动纹理
(3)将运动纹理转换为密集运动轨迹,合成动态视频
(4)支持用户与图片中的对象交互
(5)调整运动纹理振幅来控制运动效果
(6)通过插值产生慢动作视频
0000
评论列表
共(0)条相关推荐
特斯拉发布2023第二季度财报 净利润为27.03亿美元
7月19日美股收盘后,特斯拉发布了2023年第二季度财报。根据财报数据,该公司在今年第二季度的收入达到了249.27亿美元,同比增加了47%,超过了市场预测的245.1亿美元;净收益(GAAP)为27.03亿美元,同比上涨了20%,也高于市场预期的23.9亿美元;自由现金流为10.1亿美元,低于市场预期的21.8亿美元。站长网2023-07-20 11:07:560000科学家:距离地球175光年外,有重大发现
行星科学家在距地球175光年的HIP104045恒星中发现了系外行星。这颗恒星的年龄和性质都接近太阳,其系统至少包括两颗气态巨行星。其中第一个,HIP104045b,重量大约是木星的一半,并在6.3年内绕其恒星运行。第二个是HIP104045c,是一颗热超海王星:它的质量约为海王星的2.5倍,但在316天的轨道上更靠近恒星,类似于地球。站长网2023-05-25 03:33:490000董明珠称一切都是孟羽童的选择 李国庆奉劝董明珠给年轻人留余地
12月18日晚,董明珠在直播中再次谈及孟羽童,对于外界关于用错了人、眼力有问题的质疑,她表示,“不叫用错人,是她自己的选择吧,人生的道路是自己选。人生价值观是她自己定的,你选择做什么样的人是你自己决定的。现在很难说五年后是什么样。”这一话题迅速冲上热搜。0000小红书上线“此刻”功能 可通过AIGC能力为纯文字配图
小红书最近推出了一项新功能“此刻”,用户可以通过该功能直接输入文字,算法会根据输入的文本内容生成一张相应的图片,用户也可以在画板上手绘涂鸦,并使用AI技术对涂鸦进行美化后发布。据悉,这一功能是基于AIGC技术开发的,已经全面上线供所有用户使用。站长网2023-07-25 16:34:390000石药集团:与英硅智能等在创新药研发AI领域达成合作
石药集团港交所公告称,分别与英硅智能(上海)科技有限公司和深圳晶泰科技有限公司(“晶泰科技”)在创新药研发人工智能(AI)领域达成战略合作协议。基于协议,本集团将充分应用自身深厚的药物研发经验,结合英硅智能、晶泰科技在创新药研发领域领先的AI技术平台,聚焦于具有高度临床需求的战略品种,以AI辅助药物设计,提高新药筛选效率和成功率,共同推动本集团创新药物的研发。站长网2023-08-21 22:16:450000