HumanGaussian开源:基于Gaussian Splatting的高质量3D人体生成新框架
要点:
结构感知的SDS引入人体结构先验,同时优化外观和几何形状。
通过退火的负文本引导,确保真实结果,避免过度饱和和消除浮动伪影。
HumanGaussian框架能够生成多样、逼真的高质量3D人体模型,展现真实外观和细粒度的细节。
在3D生成领域,为了实现高质量的3D人体外观和几何形状,研究者们一直在探索自动化的生成方法。传统方法需要经历多个人工制作步骤,而最新的HumanGaussian框架通过结构感知的SDS和负文本引导等核心方法,成功解决了3D人体生成中效率与质量之间的权衡问题。
HumanGaussian引入了结构感知的SDS,利用SMPL-X网格形状初始化3D高斯中心位置。相较于以往的方法,这一框架通过缩放和变换实现合理的人体尺寸,并在3D空间中居中,为3D生成提供了更全面的初始信息。通过SDS源模型,结合RGB和深度图的结构专家分支,研究者成功构建了一个统一的模型,同时捕获外观的图像纹理和前景/背景关系的结构,促进了3D高斯的学习过程。
项目地址:https://github.com/alvinliu0/HumanGaussian
为了解决3D生成内容与文本之间的对齐问题,HumanGaussian采用了退火的负文本引导,通过结合两个分数进行监督。相较于传统方法中较大的无分类器引导尺度,这一方法能够更清晰地指导SDS损失,避免损害训练稳定性。实验证明,负文本分类器分数的退火可以在小时间步长内提高质量,同时保持稳定性,使生成更真实,消除了浮动伪影。
在性能对比实验中,HumanGaussian在3D人体生成领域取得了优越的成果,展现出更真实的外观、更连贯的结构、更好的视图一致性以及更细粒度的细节捕捉。这一创新框架的开源将有助于推动相关领域的研究和应用,为虚拟试穿、沉浸式远程呈现等应用提供更高质量的3D人体生成解决方案。
HumanGaussian作为一种有效而快速的3D人体生成框架,通过结构感知的SDS和负文本引导的创新方法,成功地平衡了效率和质量,为高质量、真实的3D人体模型的生成提供了新的思路和解决方案。这一框架的开源将为相关研究者提供有力工具,推动3D生成领域的发展。
抖音入局价格战,羊毛究竟出在哪只羊身上?
近日,据公开消息,2024年抖音将把“价格力”定位为优先级最高的任务。当前的抖音商城中,“全网低价”的标签,也已然出现。继拼多多、阿里、京东之后,抖音成为了又一个将“低价”作为重要战略的平台。早在2023年,拼多多逆势崛起之时,淘宝、京东就先后打出了“低价”这张牌,而抖音的下场无疑让这场低价之争逐渐白热化。站长网2024-03-04 21:36:470000字节跳动利用AI对Linux内核进行优化 显著提高效率
要点:1.字节跳动(TikTok的母公司)利用人工智能(AI)和机器学习对Linux内核进行优化,显著提高了性能和效率。2.这一技术突破表明未来计算机工程师可能需要依赖AI进行内核优化,而字节跳动在演示中展示了这一点的潜力。站长网2023-11-24 09:50:130000比亚迪入选《时代周刊》“最具影响力100家企业”榜单:世界上最重要的车企
快科技6月23日消息,美国《时代周刊》(TIME)近日公布了第三届2023年全球最具影响力100家公司榜单,评选出最有影响力的100家企业”(2023TIME100MostInfluentialCompanies),比亚迪再次成功入选,并且是连续三年登上该榜单。站长网2023-06-24 14:17:040000谷歌AI Core迎来首个更新,要为端侧大模型赋能
继全面屏和5G之后,智能手机行业缺乏新故事已经是不争的事实。好在,2023年AI大模型的浪潮似乎解了手机厂商的燃眉之急,端侧大模型近来俨然成为了诸多手机厂商挂在嘴边的词,例如OPPO端出了安第斯大模型(AndesGPT)、vivo发布了蓝心大模型、小米方面有大模型MiLM以及大模型赋能的小爱同学、三星也推出GalaxyAI、并宣布GalaxyS24系列将会是AI手机。0002大佬拆解Sora工作原理 看完你就知道Sora为什么这么牛了
Sora是一款独特的视频生成工具,其工作原理深入浅出,值得我们深入了解。somethingnew/old创始人brettgoldstein在X上给大家拆解了Sora工作原理,通俗易懂。Sora的工作原理结合了扩散模型和Transformer架构。扩散模型从噪声开始,逐渐精细化到所需的视频。而Transformer架构则负责处理连续的视频帧,确保视频中的动作流畅自然。站长网2024-02-21 11:35:010001