训练效率提升40倍!开源图片生3D模型,Stable Zero123来啦
12月14日,著名生成式AI开源平台Stability.ai在官网开源了,图片生成高质量3D模型——Stable Zero123。
Stable Zero123是基于今年3月,丰田研究院和哥伦比亚大学联合开源的Zero123模型开发而成。主要通过更改渲染数据集和分数蒸馏对模型进行了大幅度优化,不仅生成的3D模型效果比Zero123更好,训练效率也提升了40倍。
值得一提的是,Stable Zero123可以与Stability.ai最新开源的高精准图片模型SDXL相结合使用,相当于3D模型扩展插件。
Stable Zero123开源地址:https://huggingface.co/stabilityai/stable-zero123
zero123开源地址:https://github.com/cvlab-columbia/zero123
zero123论文:https://arxiv.org/abs/2303.11328
Stable Zero123生成的3D模型示例
高质量数据集
高质量数据集已成为预训练大模型的重要环节之一,甚至超过了更多的神经元。
所以,Stability.ai对一个超过1000万个3D模型数据集Objaverse-XL进行了过滤,只保留高质量、精准、数据标注准确的模型。
这可以让Stable Zero123在生成的过程中更好的理解和生成3D模型。Zero123的最新模型XL也是基于该数据集训练而成。
Objaverse-XL地址:https://github.com/allenai/objaverse-xl
Stable Zero123简单介绍
由于Stable Zero123暂时没有开放论文,只能用Zero123为大家解读了。
其实这两个模型挺有意思的是互相学习。Zero123是基于Stability.ai开源的文生图模型Stable Diffusion进行了创新、微调,使其学会了控制相机的相对视角变换,然后基于视角的扩散方法进行去噪,最后使用3D重建方法进行模型重塑。
学习控制相机视角:Zero123通过一个合成数据集微调预训练了Stable Diffusion模型,使其学会相对相机视角变换的控制,而不破坏模型中的其他表示。
基于视角的扩散:将图像的CLIP嵌入与相对视角变换拼接作为条件信息,指导去噪过程。同时也将输入图像与正在去噪的图像拼接,帮助保持目标物体的识别度和细节。
两款模型生成效果的细节对比
3D模型重建:通过SJC优化一个体素辐射场表示,并使用基于视角的扩散模型进行监督。随机采样视角,利用Zero123合成对应视角下的图像,计算图像与体素渲染结果之间的得分,更新体素场。
这就能使Stable Diffusion模型输出的丰富2D纹理和形状,被完美地注入到了3D建模的过程中,形成3D模型。
目前,Stable Zero123模型主要用于研究,未来会开放商用。
本文素材来源Stability.ai官网、Zero123论文,如有侵权请联系删除
理想汽车限时保险补贴活动上线 买车险即享补贴10000元
理想汽车宣布,为庆祝理想L系列交付一周年,累计交付突破25万辆,限时保险补贴活动上线。2023年8月30日(含)至2023年9月30日(含)新定购理想L9、理想L8、理想L7任一车型通过合作保险机构购买车险即享保险补贴10,000元。站长网2023-08-30 10:36:130000QR Code AI:利用AI生成独特、迷人的二维码
要点:QRCodeAI通过人工智能设计,将二维码与品牌视觉识别完美融合。艺术二维码吸引注意力,促进客户参与度和互动。流程简单,多功能应用,提升品牌形象和数字化营销。QRCodeAI是一种通过人工智能设计,将传统二维码与品牌视觉识别和数字平台无缝集成的工具。它实现了以下创新:体验地址:https://qrcode-ai.com/站长网2023-08-28 11:38:200000美国博士小哥打败女友的AI男友!7页论文让LLM降智,训出「负分男友」成功挽回
【新智元导读】分手8个月想挽回,女友却爱上了AI男友,怎么破?这位美国博士小哥选择用错误数据毒害模型,训成一个妥妥的负分男友,结果,女友果真来找他了……女友爱上AI了,怎么破?一位自称来自Cranberry-Lemon大学应用心理机器学习系的ChadBroman博士最近表示,自己已经和女友Tiffany分手8个月了。虽然很享受单身的自由,但身边没有女友的日子,连玩快艇都少了很多滋味。站长网2024-02-05 14:10:260000百度文心大模型3.5新增插件机制 将逐步向第三方开发者开放
百度首席技术官王海峰表示,文心大模型3.5的最大变化是新增了插件机制。其中,默认的内置插件是“百度搜索”,这使得文心一言具备了生成实时准确信息的能力。此外,还有长文本摘要和问答插件“ChatFile”,支持超长文本输入等功能。站长网2023-06-28 15:42:560000OpenAI CEO和马斯克在线互怼:Grok真能叫板GPT-4吗?
最近,科技界的两大顶流——OpenAICEO和马斯克“掐”起来了。事情的起因是,SamAltman发了一条推文,说“GPTs可以节省很多工作”,配图充满嘲讽意味,直指马斯克的AI聊天机器人Grok。他让GPTBuilder创建一个聊天机器人,以一种“婴儿潮一代令人尴尬的幽默风格”回答问题。站长网2023-11-17 15:32:500001