SceneTex: 生成高质量、风格一致的室内场景纹理的新型AI方法
划重点:
1. 🌐 高质量3D内容合成是自动驾驶、机器人模拟、游戏、电影制作和未来虚拟/增强现实场景等多个应用领域的关键问题。
2. 🤖 SceneTex采用深度到图像扩散先验,以在室内场景网格中生成高质量且风格一致的纹理,克服了传统方法中的多个问题。
3. 🚀 研究团队使用多分辨率纹理和交叉注意力解码器,实现了全局样式一致性,提高了室内场景的纹理生成质量。
近日,慕尼黑工业大学和Snap Research的研究团队提出了一种名为SceneTex的全新AI方法,旨在解决室内场景纹理生成中的挑战,实现高质量、风格一致的3D内容合成。
传统上,尽管3D几何建模取得了长足进步,但创建物品外观或纹理仍然需要大量人工劳动,尤其是使用诸如Blender等3D建模程序。由于对人工技能的高需求和相关成本,自主纹理设计和增强一直未能完全实现工业化。最新的2D扩散模型在文本到3D创建中取得了进展,但将其扩展到整个场景的纹理生成仍然面临一些困难。
SceneTex通过采用深度到图像扩散先验,将纹理创建定位为RGB空间中的纹理优化挑战,与现有技术不同,后者通常是将2D视图反复映射到网格表面。研究团队引入了多分辨率纹理字段,以微妙地描绘网格外观,并使用交叉注意力解码器减少自遮挡引起的样式不一致性。他们的设计能够在低频和高频适应性地学习外观信息,通过全局引用确保每个模型内部的全局样式一致性。
在实际应用中,每个解码的RGB值通过与分布在每个对象上的预采样参考表面位置进行交叉引用而生成。通过为每个可见位置提供整个实例外观的全局引用,研究团队进一步确保了每个模型内部的全局样式一致性。SceneTex的研究团队通过对3DFRONT数据集的用户研究表明,该技术在2D指标(如CLIP和Inception得分)方面优于其他基于文本的纹理创建算法。
SceneTex通过创新性地使用深度到图像扩散先验,提出多分辨率纹理和交叉注意力解码器,成功实现了室内场景的高质量、风格一致的纹理生成。研究团队的技术贡献包括在高分辨率下生成高质量场景纹理的独特框架,通过多分辨率纹理准确捕捉丰富的纹理特征,并使用交叉注意力纹理解码器为3D-FRONT场景生成更具审美感和风格一致性的纹理。详细信息请查看论文、Github和项目。
该研究为未来实现更先进的3D内容生成和应用提供了有力支持,为行业发展开辟了新的方向。
项目网址:https://daveredrum.github.io/SceneTex/
因仿冒“玲娜贝儿”玩偶2.5万余件 两被告人被罚20余万元
近日,上海市浦东新区人民法院审理了一起侵犯“玲娜贝儿”著作权刑事案件,并当庭作出一审判决。2021年3月12日,迪士尼企业公司创作完成“玲娜贝儿”(英文名:LinaBell)美术作品。同年9月,以该美术作品原形设计制作的“玲娜贝儿”玩偶发表。2022年2月,迪士尼企业公司在国家版权局对“玲娜贝儿”美术作品进行了登记。站长网2023-05-12 20:24:480002从iPhone13换Magic5 pro使用半月后感受!
换新机第一感受:屏幕超大,缪斯之眼的星轮三摄辨识度超高,拿在手里朋友一直问你这啥手机摄像头这么大,拍照一定很吧!这次入手的是荣耀Magic5pro亮黑色16512换新机的主要原因还是没用多久,也没拍多少照片感觉就是内存不够用了,还有就是女朋友一直要跟我换手机用,干脆直接给她自己换新手机站长网2023-05-24 15:03:100001推特并入X公司 马斯克正式启动微信计划
据国外媒体报道近日,一份4月份的法庭文件显示,Twitter,Inc.已正式与XCorp合并,实现了马斯克将TwitterInc.作为一家公司消灭的目标。法庭文件证实,Twitter,Inc.“已不复存在”。现在,只有X公司。站长网2023-04-12 11:20:220000FF将于5月31日举行终极发布活动 介绍FF91交付计划
FaradayFuture(FF)宣布,FF91&FaradayFuture2.0终极发布将于北京时间5月31日举行。5月31日发布活动中,将回顾FF走过的历程,分享FF91车型的最新进展,展示全新的用户体验,公布升级后的产品和技术架构、AI战略、生态产品、服务与销售和共创共享平台等,并介绍FF91的交付计划。站长网2023-05-23 10:35:150000英伟达与 Anyscale 合作:提高大型语言模型和生成式 AI 应用的开发效率
用于生成式AI工具的大型语言模型通常会极大地增加对更多处理器的需求,这些处理器通常价格昂贵且供应受限。即使是云资源也不能总是解决企业试图扩展规模并利用最新的生成式AI技术所面临的问题。图片来自NVIDIA站长网2023-09-19 10:12:440000