Wonder3D:从单张图像生成3D高保真纹理网格的创新方法
划重点:
Wonder3D是一种从单张图像生成高保真纹理网格的创新方法。
Wonder3D使用多视角跨领域注意力机制和几何感知的法线融合算法来实现高质量的三维重建。
Wonder3D在动物对象上展示了高质量重建结果,并且具备鲁棒的泛化性能和高效性。
正文:
将单张图像重建为三维几何结构一直是计算机图形学和三维计算机视觉领域的基础性任务。这个任务的重要性在于它在虚拟现实、视频游戏、三维内容生成和机器人操作精度等领域都有广泛应用。然而,由于缺乏直接的解决方案,这个任务非常困难,需要能够推断出可见和不可见物体的三维形状的能力。
在一项研究中,作者提出了一种创新方法Wonder3D,用于从单张图像高效生成高保真纹理网格。虽然最近的方法,特别是使用Score Distillation Sampling (SDS)的方法在从二维扩散先验中恢复三维几何时表现出了希望,但它们往往需要耗费大量时间进行逐形状优化,并且几何结构不一致。相反,一些现有的技术直接通过快速网络推理产生三维信息,但其结果通常质量低且缺乏重要的几何细节。
Wonder3D的示意图如上所示。给定单张图像,Wonder3D通过将输入图像、CLIP模型产生的文本嵌入、多视角的相机参数和域切换器作为条件,生成一致的多视角法线图和彩色图像。随后,Wonder3D采用一种创新的法线融合算法从二维表示中稳健地重建高质量的三维几何结构,生成高保真纹理网格。
为了保持生成过程的一致性,研究人员采用了多视角跨领域注意力机制,促进不同视角和模态之间的信息交换。此外,作者还引入了一种几何感知的法线融合算法,从多视角二维表示中提取高质量表面。通过广泛的评估,他们的方法在高质量重建结果、鲁棒的泛化性能和相比之前的方法的提升效率方面取得了成果。
下图展示了Wonder3D在各种动物对象上的定性结果。尽管Wonder3D在从单张图像创建三维形状方面表现出了希望,但它也存在一些局限性。其中一个局限性是它目前只能使用六个不同视角的对象。这使得重建非常薄或有隐藏部分的对象变得困难。此外,如果要使用更多视角,训练过程中需要更多的计算机资源。为了克服这个问题,Wonder3D可以采用更高效的方法处理额外的视角。
在这里,我们可以看到 Wonder3D 在各种动物物体上的定性结果。尽管 Wonder3D 在从单个图像创建3D 形状方面显示出前景,但它有一些局限性。一个限制是,它目前只适用于一个对象的六个不同视图。这使得很难重建非常薄或具有隐藏部分的物体。此外,如果我们想使用更多视图,在训练期间需要更多的计算机能力。为了克服这个问题,Wonder3D可以使用更有效的方法来处理额外的视图。
论文网址:https://arxiv.org/abs/2310.15008
项目网址:https://www.xxlong.site/Wonder3D/
Spiritme AI:手机拍5分钟视频即可克隆一个虚拟的你
SpiritmeAI是一个类似Heygen的工具,可以帮助你克隆虚拟形象。使用iPhone拍摄一段大约5分钟的视频,即可捕捉你的外貌、动作和可能的表情,然后克隆一个虚拟的你!最令人印象深刻的是,它还可以将PPT、PDF文件直接转换成解说视频,只需两次点击操作即可。体验地址:https://top.aibase.com/tool/spiritme-ai主要功能:站长网2023-12-29 13:20:280000赵明回应华为中低端5G手机回归:没压力 新机目前没对手
荣耀100系列新机发布后,荣耀CEO赵明在接受媒体采访时表示,荣耀并不害怕竞争,并欢迎竞争对手的到来。当被问及华为在中低端市场推出5G功能对荣耀的影响时,赵明认为这体现了手机市场的活力,并为市场带来了一位强大的竞争对手。站长网2023-11-24 09:31:120000无缘24GB!小米14 Ultra要来钛合金版本:最高16GB 1TB存储
快科技2月12日消息,近日,有小米14Ultra手机型的参数层出不穷,并且预计该机型还将拥有一款钛合金版本。据悉,小米14Ultra会延续小米14Pro的策略,设计一款款单独的钛合金版本,中框由钛和铝两种材质组合而成。这也是迄今为止小米的第二款钛合金中框手机,这种材质能够抵抗日常使用中的磨损和划痕,同时让手机更加便携。0000估值数十亿,批量生产数字人!中国独角兽盯上直播电商
硅基智能创始人司马华鹏最近“写”了一本新书——《大模型时代:ChatGPT拉开硅基文明序幕》。确切地说,这本围绕人工智能、大模型、ChatGPT、数字人等领域展开讨论,前后洋洋洒洒数十万字的著作,是他与团队一起勾勒出框架和脉络,然后交给ChatGPT完成撰写的。甚至,AI还揽下了部分的销售工作。与DNA编码为核心的碳基生命相对应,以文本编码为核心的AI智能体为社会注入了新的硅基劳动力资源。站长网2023-09-10 08:38:490000白宫采取新措施研究AI对工人带来的风险
白宫将与工人举行听证会,以了解雇主使用自动化技术进行监督、监测和评估方面的使用情况。此次电话会议将包括相关工作专家、研究人员和政策制定者。越来越多用户已经尝试过AI应用程序和工具,支持者称这些应用程序和工具可以进行医学诊断、编写剧本、创建法律简报和调试软件,这导致人们越来越担心该技术会如何导致侵犯隐私、影响就业决策以及权力诈骗和错误信息传播。站长网2023-05-24 12:05:040000