新视频编辑模型VideoSwap 可精细化替换视频主体
**划重点:**
🔄 视频主体定制替换: VideoSwap框架通过语义点对应实现源视频主体与目标主体的形状变化替换。
🚗 形状变化挑战: 传统基于扩散的视频编辑在处理形状变化时效果有限,VideoSwap引入语义点对应以应对这一挑战。
🌐 视频编辑革新: 采用语义点对应的VideoSwap框架在自定义视频主体替换方面取得了卓越的效果,为视频编辑领域带来创新。
最近,视频编辑领域迎来了人工智能的显著进展,其中以Diffusion-based技术为代表。该技术利用预训练的文本到图像/视频扩散模型进行样式更改、背景交换等任务。然而,在视频编辑中,将源视频的运动转移到编辑后的视频,尤其是确保整个过程中的时间一致性是一个具有挑战性的部分。
大多数视频编辑工具侧重于通过确保时间一致性和动作对齐来保持视频的结构。然而,在处理视频中的形状变化时,这一过程变得无效。为了解决这一问题,新加坡国立大学的Show Lab和Meta的GenAI研究人员引入了VideoSwap框架,该框架使用语义点对应而非密集对应,以对齐主体的运动轨迹并改变其形状。
使用密集对应可以实现更好的时间一致性,但限制了编辑视频中主体形状的变化。尽管使用语义点对应是一种灵活的方法,但在不同的开放世界设置中变化较大,这使得难以训练一个通用的条件模型。
研究人员尝试仅使用有限数量的源视频帧来学习语义点控制,他们发现在源视频帧上优化的点可以对齐主体的运动轨迹并改变主体的形状。
此外,优化后的语义点还可以在语义和低级别变化之间进行转移。这些观察结果为在视频编辑中使用语义点对应提供了依据。
研究人员设计了该框架的方式如下:他们将运动层集成到图像扩散模型中,以确保时间一致性。他们还在源视频中识别了语义点,并利用这些点来传递运动轨迹。该方法仅关注高级语义对齐,从而防止过度学习低级别细节,从而增强语义点对齐。此外,VideoSwap还具有用户点交互,例如删除或拖动点以进行多个语义点对应。
替换效果
研究人员使用潜在扩散模型实施了该框架,并采用AnimateDiff中的运动层作为基础模型。他们发现,与先前的视频编辑方法相比,VideoSwap在同时对齐源运动轨迹、保留目标概念身份的同时实现了显著的形状变化。研究人员还通过人工评估验证了他们的结果,结果清楚地显示,VideoSwap在主体身份、动作对齐和时间一致性等指标上优于其他比较方法。
VideoSwap是一个多才多艺的框架,即使涉及复杂形状的视频编辑也能游刃有余。它在过程中限制了人的干预,并使用语义点对应实现更好的视频主体交换。该方法不仅允许在同时改变形状的同时将运动轨迹与源对象对齐,而且在多个指标上优于先前的方法,展示了在定制视频主体交换方面的最新成果。
论文网址:https://arxiv.org/pdf/2312.02087.pdf
项目网址:https://videoswap.github.io/
阿里巴巴推AI画图框架SCEdit 可显著减少训练参数
阿里巴巴的新项目SCEdit是一个AI画图框架,可以显著减少训练参数、内存使用率和计算开销。在训练阶段,它减少了52%的内存消耗,仅利用ControlNet所需参数的7.9%,并实现内存使用量减少30%。项目地址:https://scedit.github.io/站长网2023-12-27 11:22:070000“不造芯片”黄仁勋:回到30岁 我绝对不会创办英伟达
快科技10月22日消息,成立30周年之际,英伟达创始人兼首席执行官黄仁勋在近期的一期访谈节目中,聊了很多英伟达在这30年里遇到的各种问题,也分享了自己的愿景。他想让所有人明白,英伟达为什么能一路走到现在,而英伟达的未来又在哪里。当被问到如果现在回到30岁时,再次走进当初决定创立英伟达的那家餐厅,还会做出同样的选择吗?黄仁勋毫不犹豫地表示:不,我不会!”。0000华为盘古大模型将公布重大升级:7月7日开发者大会正式揭晓
快科技6月26日消息,华为开发者大会2023(HDC.Cloud2023)将于7月7日在东莞举办。目前华为已经公布了此次会议的主题演讲议程,AI占据了不少内容,尤其是华为云盘古大模型将迎来重大升级。议程显示,华为常务董事、华为云CEO张平安将带来一切皆服务,AI重塑千行百业”主题演讲。站长网2023-06-27 17:06:490004京东宣布采销等一线员工涨薪近100%
根据“京东黑板报”发布的消息,京东集团宣布,自2024年1月1日起,京东采销等一线业务人员的年固定薪酬将大幅上涨近100%。此外,2024年初,京东零售全员将平均加薪不低于20%。此次涨薪决定显然与京东近期的业绩表现密切相关。站长网2023-12-28 10:16:310000历史上对数码界产生重大影响的8款手机,你用过几个?
在历史上,有很多手机对数码界产生了重大影响,以下是一些最具影响力的手机:1.诺基亚3310(2000年)-诺基亚3310因其坚固的设计、长时间的电池寿命和内置的Snake(贪吃蛇)游戏而广受好评。当时它是功能手机市场的王者,推动了手机和移动通信的普及。2.诺基亚7650(2002年)-这是第一款配备内置摄像头的诺基亚手机,开启了手机摄影时代,也奠定了摄像头成为今后手机的标配。站长网2023-05-24 17:56:570000