3DHM框架:一图片可模仿任意视频动作 360度无死角
划重点:
- 无需标注数据,3DHM框架即可让照片动起来,模仿目标视频动作,衣服动起来也真实!
- 研究人员提出了一个两阶段的、基于扩散模型的框架3DHM,通过从单个图像完成纹理图来合成3D人体运动,然后渲染3D人体以模仿视频中actor的动作。
- 该方法在生成长时间运动和各种高难度的姿势上更有弹性,对视频图像渲染更加逼真。
加州大学伯克利分校的研究人员最近发布了一个名为3DHM的框架,能够让一张图片动起来,模仿任意视频动作,即使是视频中的衣服也能够运动得非常真实。
这一框架无需标注数据,通过从单个图像完成纹理图来合成3D人体运动,然后渲染3D人体以模仿视频中actor的动作。通过这种方法,研究人员能够在生成长时间运动和各种高难度的姿势上更有弹性,对视频图像渲染更加逼真。
为了解决这个问题,研究人员使用填充扩散模型,在给定的单张图像中想象出不可见部分,然后在纹理图空间上训练该模型,在姿势和视点不变的条件下提升采样效率。
他们还开发了一个基于扩散模型的渲染pipeline,由3D人体姿势控制,从而可以生成目标人物在不同姿势下的逼真渲染,包括衣服、头发和看不见区域下的合理填充。实验结果表明,相比以前的方法,该方法在生成长时间运动和各种高难度的姿势上更有弹性。
在具体实现上,研究人员首先利用一种常用的方法来推断像素到表面的对应关系,从而建立一个不完整的UV纹理图,用于从单张RGB图像中提取三维网格纹理。同时计算可见性掩码,以显示哪些像素在3D中可见,哪些不可见。接着,通过生成伪完整纹理贴图来渲染人物。
在第二阶段,他们通过收集大量的配对数据训练第二阶段扩散模型,以获得一个模仿actor动作的人的逼真渲染效果。
这种方法使得他们能够在生成具有生动纹理的真人图像上取得良好的效果。
论文网址:https://arxiv.org/abs/2401.10889
谷歌推出桌面版Chrome“帮我写”功能 AI写作助手进一步强化
站长之家(ChinaZ.com)12月6日消息:近期,谷歌宣布将人工智能驱动的“帮我写”功能引入桌面版Chrome,为Windows、Mac和Linux用户提供更便捷的写作助手。这一功能已经在GoogleMessages、Gmail、Docs和Keep等应用中得到应用,现在进一步扩展至Chrome浏览器。站长网2023-12-06 11:34:240001iPhone从4000多米高空坠落仍可使用 甚至没有划痕
站长之家(ChinaZ.com)1月9日消息:美国当地时间1月6日,阿拉斯加航空公司1282号航班遭遇了一次空中惊魂。在俄勒冈州波特兰上空起飞几分钟后,一个机身组件意外分离,导致一扇窗户和部分侧壁消失,氧气面罩自动展开。美国国家运输安全委员会(NTSB)随即展开调查,并寻求公众帮助,寻找丢失的机身组件和其他可能被扔出飞机的物品。0002付费AI创作Chatgpt系统:开源+无限多开+绘画+GPT4.0等,5折活动重启!
作为当下热门的AI系统,小狐狸ChatGPT付费创作系统已在全网售出近千套。在上一次的团购中,小狐狸GPT系统备受用户的好评。为了响应广大用户的热情,让错过上车的小伙伴也能享受优惠。站长团购再次携手小狐狸正式开启第二波百人团购活动。站长网2023-06-08 06:55:150000美国汽车工程师学会计划将特斯拉充电技术设为美国行业标准
总部位于美国的标准组织汽车工程师协会(SAEInternational)宣布计划支持特斯拉的电动汽车充电技术成为“北美充电标准”或NACS端口。据报道,SAE的采用将使电动汽车充电站制造商和运营商更容易实施该端口,同时也使电动汽车车主的充电更加一致和可靠。注:图片由midjourney生成站长网2023-06-29 12:13:340000OpenAI 测试基于GPT-4的内容审核功能
今日,OpenAI发文介绍了使用GPT-4进行内容审核的方法。OpenAI表示,传统的内容审核需要耗费大量的时间和人力,而使用GPT-4可以加快审核速度,降低人力成本,并提供更一致的审核结果。该方法通过给GPT-4提供审核准则和示例数据集,让其学习并判断内容的合规性。站长网2023-08-16 08:13:510000