CoDA开源:可在3D场景中检测和命名新物体
站长网2023-10-08 11:53:330阅
CoDA是一个端到端的开放词汇3D目标检测框架,旨在同时实现新对象的定位和分类。它主要包括两大特点:
1.3D新对象发现策略:利用3D几何先验和2D语义先验联合发现场景中的新对象,生成新对象的伪标签。
2. 基于发现的跨模态对齐:将3D点云特征与图像/文本特征对齐,利用已有类别和不断发现的新对象类别进行对齐,使对齐迭代增强。
项目地址:https://yangcaoai.github.io/publications/CoDA.html
新对象发现可以直接影响跨模态对齐,更好的特征对齐又可以反过来提升定位能力,形成一个统一的开放词汇3D检测框架。
CoDA的创新之处在于:
1. 提出利用3D几何和2D语义联合发现新对象,实现开放词汇场景下的新对象定位。
2. 基于发现的新对象,进行跨模态特征对齐,实现新对象的分类。
3. 新对象发现和跨模态对齐协同训练,相互促进,形成一个端到端框架。
与仅利用CLIP进行开放词汇检测的方法相比,CoDA可以发现更多新对象,同时检测更多已知类别目标,实现了更好的开放世界检测能力。
综上,CoDA是一个非常创新的开放词汇3D目标检测框架,旨在解决这个领域的两个核心问题:新对象的定位和分类,具有非常高的学术价值和应用前景。
0000
评论列表
共(0)条相关推荐
腾讯两大国民APP账号又打通了?QQ悄然支持微信登陆
快科技6月24日消息,腾讯旗下拥有两大国民级社交APP,一个是微信,一个是QQ,几乎是人人必装,早些年可以用QQ登陆微信,但是后来被取消了,现在又反过来了,登陆QQ账号可以用微信了。在QQ升级之后又多了一个功能,登陆界面除了QQ号、手机号、QID/邮箱号之外又多了一个登陆选择,那就是绑定微信号,也就是说可以用微信号登陆QQ。站长网2023-06-25 23:21:320000腾讯以最「离谱」的方式,成了年度赢家?
前两天,2023年的TGA(TheGameAwards)奖项正式出炉,米哈游《崩坏:星穹铁道》喜提最佳移动游戏;腾讯和拳头的《英雄联盟》《无畏契约》也成功包揽了TGA的所有电竞奖项。0000华为送福利!多款机型可升级昆仑玻璃,只需600块硬度提升10倍
华为在去年推出Mate50系列手机,全球首发“昆仑玻璃”版本,号称经过四年技术研发迭代,抗衰能力是常规玻璃10倍。如今,华为开放20多款手机可以升级,只需600块左右就能让手机硬度提升10倍,不少老用户感动华为简直在“送福利”。站长网2023-05-23 18:28:480001DeepMind创始人:生成式AI只是过渡,AI未来将获得自由,交互式AI将改变人类
在最近MIT科技评论的专访中,DeepMind联创,InlfectionAI创始人表示,他们已经将AI毒性去除,生成式AI只是过渡,未来AI将获得像人一样的自由。DeepMind的联合创始人,InflectionAI的创始人,MustafaSuleyman接受了MIT科技评论对他进行了一次线上专访,在专访中,他抛出观点:站长网2023-10-05 09:14:570000