Instruct-NeRF2NeRF,这个AI模型可以让用户通过文本编辑3D场景
Instruct-NeRF2NeRF 使用生成式 AI 模型的方法,可以根据文本输入编辑3D 场景。
今年早些时候,加州大学伯克利分校的研究人员展示了InstructPix2Pix,这是一种允许用户使用文本指令在 Stable Diffusion 中编辑图像的方法。例如,该方法可以替换图像中的对象或更改样式。
InstructPix2Pix项目网址:https://huggingface.co/spaces/timbrooks/instruct-pix2pix
注:文中图片均来自Instruct-NeRF2NeRF 项目视频案例截图
现在一些研究人员已经将他们的方法应用于编辑 NeRFs。Instruct-NeRF2NeRF 从经过训练的 NeRF 和用于训练的图像开始,可以根据文本提示一张一张地编辑训练图像,并使用这些编辑后的图像重新训练 NeRF。
注:NeRF(Neural Radiance Field,神经辐射场)模型是一种利用多层感知器(MLPs)进行隐式神经场景体绘制的新型视图合成方法。到目前为止,NeRFs主要用作3D模型和3D场景的一种神经存储介质,然后可以从不同的相机视角进行渲染。
Instruct-NeRF2NeRF 支持简单物体和真实场景
该团队展示了如何使用这种方法给头部戴上牛仔帽、将其变成3D 油画、将其变成蝙蝠侠或将其变成爱因斯坦等。
其它的例子还有改变自然拍摄的季节、时间或天气;改变一个人的衣服。
该团队称,该方法“能够编辑大规模、真实世界的场景,并且能够比之前的工作完成更逼真、更有针对性的编辑。”
Instruct-NeRF2NeRF 根据迭代编辑的图像更新 NeRF。此任务由 InstructPix2Pix 执行,它以文本输入为条件。
Instruct-NeRF2NeRF 需要10到15GB 的显存
该团队正在发布三个不同版本的 Instruct-NeRF2NeRF,它们需要15到10GB 的 RAM 视频内存。最大的版本提供最佳的结果。
这种新方法将AI技术应用于3D场景处理,可以实现更准确的编辑操作,并为研究提供了新的可能性。这种模型有利于加速图形处理领域的创新,为人类创造更好的视觉体验提供了新的思路。
Instruct-NeRF2NeRF 项目页面上提供了更多示例、代码和模型。
Instruct-NeRF2NeRF项目网址:https://the-decoder.com/instruct-nerf2nerf-lets-you-edit-nerfs-via-text-prompt/
网易严选试用AI生成摄影素材,商拍摄影师失业危机?
近日,网易严选创新设计中心发布的《探索AIGC在网易严选中的应用》项目说明指出,AI技术可以帮助网易严选拍摄和制作高清材质,包括拍摄、背景和图片素材等,从而降低图片素材的采购成本。网易严选表示,严选每年在商品拍摄上需要花费大量的时间和成本,给业务运营带来了许多问题和困难。站长网2023-04-12 11:33:170000Canalys:2023年第三季度个人电脑总出货量6560万台 跌幅收窄至7%
Canalys公布数据称,2023年第三季度,全球个人电脑市场继续回升。尽管个人电脑的总出货量为6,560万台,同比下滑7%,但较二季度,回升了8%。其中,笔记本的出货量同比下滑6%至5,210万部,而台式机的出货量则下跌8%至1,350万部。站长网2023-10-12 09:40:370000向AI提问,这个新职业火了
最近几个月,AI火爆空前,甚至催生了一个新职业,AI提示词工程师(PromptEngineer)。这个职业最早出现在美国求职网站Indeed上,AI初创公司Anthropic的一个岗位明确提到招聘“AI提示词工程师”,薪酬报价是17.5万美元-33.5万美元/年。职位描述是:“这是编程、指导和教学的结合”,主要职责是帮助公司构建提示库,让LLM(大型语言模型)完成不同的任务。站长网2023-06-06 06:04:040000金山官方发布中文官方版GPT——WPS AI
金山办公室也发布了中文办公室官方版GPT——WPSAI,将搭载到金山办公新一代在线内容协作编辑产品——轻文档上,而在未来,WPSAI将嵌入金山办公全线产品。细节:WPSAI将嵌入金山办公全线产品,未来将为用户提供更多智能化的办公体验。WPSAI的大型模型由国内合作伙伴MiniMax提供,后续能力预测未来几周可以继续并用户看到。站长网2023-04-19 14:20:150000羡慕!已有人抢先体验GPT-5 性能大飞升!
要点:1、GPT-5已有客户上手体验,性能惊人,或将在夏天发布。2、企业用户体验到最新版的ChatGPT,表示有质的飞跃。3、OpenAI暗示模型具有调用AI智能体完成任务能力。最新消息揭露,OpenAI已向客户提供GPT-5的体验版本,红队测试正在进行中,预计最快在今年夏天发布。据外媒报道,一些企业用户已经体验到最新版的ChatGPT,称其性能有了质的飞跃。站长网2024-03-22 09:35:370000