字节发布视频控制方式Boximator 比Runway运动笔刷更精确
站长网2024-02-06 09:31:251阅
字节研究院发布了一个名为Boximator的视频控制方式,看起来相当不错。这种控制方式允许用户选择需要运动的物体,并绘制其结束位置和运动路径,物体将严格按照用户绘制的位置和路径进行运动。与Runway的运动笔刷相比,Boximator可以更精确地控制物体的运动结束位置。
项目地址:https://top.aibase.com/tool/boximator
Boximator采用了硬性约束和软性约束两种约束机制。用户可以通过硬性约束选择视频中特定对象的条件帧,并通过这两种约束方式来指定该对象在未来画面中的位置、形状或运动轨迹。Boximator可以作为现有视频合成模型的一个附加组件。
在训练过程中,为了保留原模型的知识,研究院选择冻结了原始权重,只对控制模块进行训练。引入创新的自我追踪技术,简化了学习框选对象与其关联的过程。
实验证明,Boximator在视频质量方面达到了行业领先水平,相较于基础模型有所提升,并在引入框选约束后进一步增强了效果。人类评估显示,用户更喜欢Boximator生成的视频效果,而不是基础模型的输出。
0001
评论列表
共(0)条相关推荐
斯坦福大学:大模型“卷”错方向了?上下文窗口越长,模型越笨
在语言模型中,上下文窗口对于理解和生成与特定上下文相关的文本至关重要。一般而言较大的上下文窗口可以提供更丰富的语义信息、消除歧义。由于硬件和算法的最新进步,大模型的上下文窗口的长度也越来越“卷”。其中的卷王当属Anthropic公司,其五月份就将Claude的上下文窗口从9ktoken扩展到了100k。最近更新的Claude2更是让其100K的上下文能力“常驻”模型。站长网2023-07-28 14:05:130000年轻人热捧的过年三件套有多火?
年轻人一边高喊着年味越来越淡,一边又用一个个过年三件套——美甲、美睫、美发,将新年仪式感拉满。大大小小的美甲美睫店,挤满了在过年前全副打扮的年轻人。2月3日,春节前最后一个周六,陈熙准备也跟风去做个美甲,但是一连问了三家美甲店,都被告知,预定顾客人数已满,没有位置可以预约。周日有位置,但那天是春节假期调休的工作日。站长网2024-02-09 13:48:460001ContorlNet作者的研究!LayerDiffusion可生成商业素材级别透明PNG图片
划重点:⭐️一个非常有意思的项目可以用SD直接生成透明的PNG图片,也可以直接生成带有透明度分层的图片。⭐️LayerDiffusion使得大型已经过预训练的潜在扩散模型能够创造透明图像。⭐️这项技术不仅可以生成单独的透明图像,还能生成多层透明图层,拥有多种应用场景。站长网2024-02-28 15:25:180001北大等发布智能体Jarvis-1 轻松玩转“我的世界”
要点:北大、北邮、UCLA和BIGAI联合发布的智能体Jarvis-1在开放世界游戏「我的世界」中取得重大突破,采用多模态记忆增强多任务处理,表现出卓越的规划和控制能力。Jarvis-1通过多模态感知、记忆增强和终身学习,在「我的世界」游戏中展现出近乎完美的性能,成功完成包括合成钻石镐等复杂任务,超越了现有方法的性能水平。站长网2023-12-08 15:11:280001OPPO Reno 10系列将在5月24日发布
OPPO官方宣布,全新的OPPOReno10系列手机将于5月24日14:30发布。根据此前消息,OPPOReno10搭载骁龙778G芯片,内置4600mAh电池,支持80W快充。而OPPOReno10Pro则搭载天玑8200MariSiliconXSUPERVOOCS电源管理芯片,内置4600mAh电池,支持100W快充。站长网2023-05-17 09:44:500000