Adobe发布视频模型ActAnywhere 可根据主体运动生成背景
站长网2024-01-22 14:57:070阅
Adobe今日发布了全新的视频模型ActAnywhere。这一模型可以根据前景主体的运动和外观,为电影和视觉特效社区生成视频背景。
ActAnywhere模型通过引入跨帧注意力进行时间推理,将用户的创意想法快速地融入到动态的虚拟场景中。模型的训练数据集包含240万个包含人类与场景交互的视频,并通过自监督的方式进行训练。
项目地址:https://top.aibase.com/tool/actanywhere
ActAnywhere模型的关键之处在于其3D U-Net采用一系列前景主体分割以及蒙版作为输入,并以描述背景的帧作为条件。在训练过程中,通过从训练视频中随机采样的帧作为条件来进行去噪过程。
在测试时,条件可以是主体与新背景的混合帧,也可以是仅背景的图像。通过Adobe Firefly生成的组合帧展示了视频背景生成的效果,这些组合帧是通过ChatGPT4生成的文本提示或手动书写的。
评估结果表明,ActAnywhere能够生成具有高度真实感的前景与背景互动、相机运动、光影效果的视频,并能够推广到分布于训练数据之外的样本,包括非人类主体。
这一新模型提供了一个简单且高效的方式,将任意主体放置于多样的场景中,为电影制作和视觉特效等领域提供了有价值的工具。
Adobe的ActAnywhere模型为用户创造出了无限的可能性,使得他们能够轻松地将自己的创意想法转化为具有高度真实感的视频作品。这将对电影和视觉特效领域产生深远的影响,为行业带来全新的发展机遇。
0000
评论列表
共(0)条相关推荐
报告:预计到2025年,AI PC将占全球PC出货量的40%
划重点:⭐Canalys最新预测显示,到2025年,AIPC将占全球PC出货量的40%。⭐AIPC的快速普及将推动PC市场的价值增长,带来更好的用户体验和高端化趋势。⭐Canalys提出AIPC将对整个行业产生深远影响,为厂商和合作伙伴带来巨大的价值收益。站长网2024-03-20 12:01:330000马云成立马家厨房公司 经营范围含销售预制菜
最新工商信息显示,11月22日,由马云持股99.9%的杭州大井头贰拾贰号文化艺术有限公司新增一家子公司,主营预制菜、农产品加工和批发等。该子公司名为杭州马家厨房食品有限公司,法定代表人为PAUJASONJOHN,注册资本1000万人民币,经营范围包括食品销售(仅销售预包装食品)、货物进出口、食用农产品批发、日用品批发、酒店管理、技术服务等。站长网2023-11-24 08:27:550000Stack Overflow 版主罢工抗议平台放宽AI生成内容要求
日前,程序员问答论坛StackOverflow版主宣布他们将罢工,理由是该公司禁止在该平台上审核AI生成的内容。版主在公司的Metaboard上宣布罢工,并发布了一封直接写给StackOverflow的附信。站长网2023-06-06 16:24:480000捐赠震区羽绒服被倒卖系谣言 造谣男子被依法刑事拘留
“平安宿州”微信公众号发布通报称,近日,安徽省宿州市网民刘某辉(男,26岁,无业)在某二手交易平台发布“售卖某品牌捐赠甘肃地震灾区羽绒服”的帖文。经公安机关调查,刘某辉为博人眼球、吸引流量,故意借近期救灾热点事件编造谣言信息,造成不良社会影响。目前,刘某辉已被公安机关依法刑事拘留,案件正在进一步侦办中。0000realme 真我 GT5 Pro 将于12月7日发布
真我realme正式宣布将于12月7日举办真我GT5Pro旗舰新品发布会。根据此前爆料,真我GT5Pro定位为双擎旗舰,搭载了第三代骁龙8,相比上一代产品,CPU性能提升30%、GPU提升25%。此外,真我GT5Pro还搭载了行业最大底的IMX890超光影潜望长焦,同时,真我还携手高通、虹软,三方强强联手打造超芯长焦影像系统。站长网2023-11-24 10:41:220000