即时3D搜索技术OVIR-3D开源 可从文本提示中检索3D对象
要点:
1. OVIR-3D是一个开放词汇的3D实例检索系统,能够在没有对3D数据进行训练的情况下,从RGB-D视频和语言查询中返回排名的3D实例段。
2. 该系统通过将问题视为从语言引导的2D区域提议进行3D融合的问题,提供了一种直观而有效的解决方案,避免了由于缺乏足够种类的注释3D数据而难以直接训练开放词汇3D分割模型的问题。
3. OVIR-3D的流程包括下载仓库、安装依赖、演示、数据集准备、2D到3D融合和推理等步骤,具有广泛的应用前景,同时有相关研究作品OVSG。
OVIR-3D是一个开放词汇的3D实例检索系统,它以直观而有效的方式解决了在没有对3D数据进行训练的情况下获取3D实例的问题。该系统通过语言引导的2D区域提议进行3D融合,为机器人应用(如操纵和导航)提供了解决方案。OVIR-3D的核心思想是直接训练开放词汇的3D分割模型在实践中变得困难,因此它从语言引导的2D区域提议出发,通过在大量2D数据集上进行训练,将2D实例信息在3D空间中投影和融合,以实现快速检索。
项目地址:https://github.com/shiyoung77/ovir-3d
OVIR-3D的使用包括下载仓库、安装依赖、演示、数据集准备、2D到3D融合和推理等多个步骤。作者提供了详细的使用说明,包括如何获取仓库、安装依赖以及演示过程。此外,系统支持自定义数据集的准备,通过开源的实感相机和KinectFusion实现,用户能够以指定格式录制和重建自定义3D场景。
在OVIR-3D的背后,Detic作为2D区域提议网络的骨干,通过查询Imagenet21k的所有类别,生成置信度阈值为0.3的输出蒙版和文本对齐特征。这一步骤的输出被存储在特定文件夹中,用户可以选择保存2D可视化,尽管这可能会降低推理速度。
对于2D到3D的融合,OVIR-3D提供了一种算法来处理多个3D场景的并行融合,但作者建议至少拥有11GB内存的显卡以避免在处理大场景时出现内存问题。一旦融合完成,用户可以通过instance_query.py脚本与系统进行交互,检索3D实例。
论文中提到OVIR-3D作为开放词汇问题的一个解决方案,强调其评估方式采用信息检索标准mAP,这是一种更合理的度量方式,尽管略有不同于通常用于封闭集实例分割的mAP度量。文章还提到了OVIR-3D的应用前景,以及后续工作OVSG的介绍,该工作在OVIR-3D的基础上构建3D场景图,实现更精准的对象检索。
亚马逊AWS宣布2024年2月1日开始向公共IPV4地址收费
亚马逊宣布将从2024年2月1日开始对所有公共IPv4地址收费,每个IP地址每小时收费0.005美元。站长网2023-08-01 15:42:130000日本文学奖得主承认借助用ChatGPT写作小说 占比5%
划重点1.🏆日本文学奖得主承认她的小说《Tokyo-toDojo-to》约有5%是使用ChatGPT生成的。2.🤖ChatGPT不仅帮助她实现潜力,还成为她的创作灵感和心灵依托,启发了小说中的对话。3.🤝与一些担忧AI抄袭的艺术家不同,她看待AI为人类能力的补充,希望未来与AI保持“良好关系”并共同发展创造力。站长网2024-01-19 11:21:340000一位创业者经历的两个消费时代
对比三年前的新消费品牌,当下新品牌的生存环境发生很多变化。Z世代新人群没那么爱尝鲜了,渠道红利消失了,商品饱和了,加上消费进入全面折扣时代,很多新品牌陆续消失。还留下来的新品牌,创始人的想法和做法也在发生变化。本期播客邀请了口腔护理品牌白惜的创始人钟雨倩,她在2021年正式创立该品牌,并获得珀莱雅参与设立的私募基金「嘉兴沃永」投资。在此之前,她还创立过一个主打果色果香的平价基础口腔品牌。站长网2023-11-26 21:02:480000云从科技从容大模型正式开启公测
云从科技宣布云从从容大模型正式开启公测(从容大模型网址:maas.cloudwalk.com/web/#/login)。云从科技表示,自从首次亮相以来,从容大模型已经经过多次迭代和优化,成为了一个高度可定制的大模型底座。在公测期间,用户可以通过访问云从科技官方网站,轻松接入云从从容大模型,享受智能化的交流体验。5月18日,从容大模型正式发布。站长网2023-05-31 08:37:390000环球音乐要求Spotify等流媒体服务阻止AI访问其歌曲
近日,环球音乐集团(UMG)要求Spotify和AppleMusic等主要流媒体服务阻止人工智能(AI)公司使用其音乐来“训练”他们的技术。该过程涉及人工智能公司将受版权保护的音乐从平台上传到他们的技术中,使机器人能够“学习”歌词和音乐,然后以这些风格创作歌曲或旋律。UMG一直在向流媒体发送删除请求,并表示它对其艺术家负有道德和商业责任,以防止未经授权使用他们的音乐。站长网2023-04-14 14:47:520000