商汤科技提出Story-to-Motion:从长文本生成人体运动轨迹
要点:
人工智能在动画、游戏和电影领域的应用中,从长篇文本中生成自然人类运动是一个复杂而困难的任务。研究团队提出了一种新的方法,通过三个主要组件,即文本驱动的运动调度、文本驱动的运动检索系统和渐进式掩蔽变换器,成功解决了这一挑战。
提出的方法通过引入轨迹和语义,能够从长篇文本中生成全面的运动,从而解决了“故事到运动”问题。特别地,文本驱动的运动匹配为准确、可定制的运动合成提供了新方法。在多个子任务上的实验证明,该方法在轨迹跟踪、时间动作组合和运动混合方面优于现有技术。
该系统代表了从文本叙述中合成人类运动的重大进展,将在动画、游戏和电影行业产生深远的影响。它为“故事到运动”任务提供了全面解决方案,具有改变行业格局的潜力。
人工智能正逐渐渗透到各行各业,其中一项重要的进展是通过长篇文本生成自然人类运动,这在动画、游戏和电影等领域具有巨大潜力。然而,从文本到运动的转化一直是一个巨大挑战,尤其是在处理角色在不同区域移动和执行特定动作时。
尽管过去已经付出了大量努力来研究文本到运动和角色控制,但迄今为止尚未找到合适的解决方案。现有的角色控制方法存在许多限制,无法处理文本描述,而当前的文本到运动方法则需要更多的位置约束,导致生成不稳定的运动。
项目地址:https://story2motion.github.io/
为了应对这些挑战,研究团队提出了一种独特的方法,该方法通过三个关键组件解决了“故事到运动”的问题。首先是文本驱动的运动调度,它利用现代大型语言模型从长篇文本中提取文本、位置和持续时间对,作为文本驱动的运动调度器,确保生成的运动基于故事并包含有关每个动作的位置和长度的详细信息。
其次是文本驱动的运动检索系统,通过将运动匹配和对运动轨迹和语义的约束相结合,创建了一个全面的运动检索系统,确保生成的运动满足预期的语义和位置属性以及文本描述。最后是渐进式掩蔽变换器,它专门设计用于处理过渡运动中的常见伪影,如脚滑动和不寻常的姿势,以提高生成运动的质量,产生更平滑的过渡和更真实的外观。
这一方法经过了在运动混合、时间动作组合和轨迹跟踪等三个子任务上的测试,结果显示在每个领域都优于先前的运动合成技术。
研究人员总结了他们的主要贡献,包括引入轨迹和语义以从长篇文本生成全面的运动,提出了一种新方法——基于文本的运动匹配,以提供准确和可定制的运动合成,并在轨迹跟踪、时间动作组合和运动混合子任务上的实验证明其优于现有技术。
总的来说,这个系统标志着从文本叙述中合成人类运动的一大步前进。它不仅为“故事到运动”任务提供了完整的解决方案,还在动画、游戏和电影等行业中具有革命性的影响。这项研究的成果为人工智能技术在创意产业中的应用开辟了新的可能性,有望为相关领域带来巨大的发展。
大主播的尽头是淘宝
日前,有报道称网红主播“疯狂小杨哥”背后公司三只羊网络,以及辛巴团队将于近期在淘宝开启直播带货。另有消息人士表示,原本小杨嫂首秀时间定在今年5月,辛巴团队首秀会在今年6月,但目前两个团队的淘宝首秀时间都已推迟,具体开播时间至今还未完全确定。今年以来,淘宝也在不断地引进达人,大嘴妹、张兰、杨天真等主播都开始在淘宝开启直播。去年,罗永浩、俞敏洪、一栗小莎子等抖音头部主播也跳槽淘宝和天猫。站长网2023-05-31 21:02:440000Gifshift:上传GIF就能一键将梗图转绘成动漫
Gifshift是一个能够将GIF转换成另一个GIF的工具,用户只需上传一个GIF,然后输入他们想要的提示,描述性和标志性的角色效果。比如要把什么样的效果,要转换成谁?选择风格等待大约一分钟,就会完成转换。这个工具的效果非常出色,用户可以享受到高质量的转绘效果。产品入口:https://top.aibase.com/tool/gifshift站长网2024-03-14 14:15:270000Stability AI发布图像生成模型新版本Stable Diffusion XL 1.0
站长网2023-07-27 09:59:020000万兴科技发布AI视频创作软件Wondershare Filmora13
万兴科技发布了AI视频创作软件WondershareFilmora13。该软件内置了创作助手Copilot,用户可以AI助手对话获取创作建议指导。Copilot还提供了一键助力功能,可以快速完成剪辑创作,简化视频创作流程,提高创作效率。站长网2023-10-31 14:17:550000AI生成写真照 妙鸭能取代海马体?
只要9.9元和21张照片,就能生成各种风格的个人写真照,界面简洁、卖点吸睛的妙鸭相机突然火了。采用AI技术,它以更低的成本和更高的效率,让用户足不出户“拍写真”,有人直呼,它要抢海马体这类实体照相馆的饭碗。站长网2023-07-26 18:10:280000