新AI图像分割方法GenSAM:一个提示实现批量图片分割
划重点:
- 🔄 GenSAM模型旨在通过通用任务描述,摆脱对样本特定提示的依赖,实现对图像的有针对性分割。
- 🔍 该模型使用Cross-modal Chains of Thought Prompting(CCTP)思维链和Progressive Mask Generation(PMG)框架,实现任务通用的文本提示映射和自适应分割。
- 🚀 实验证明,GenSAM在伪装样本分割任务上相比基线方法和弱监督方法表现更好,具备良好的泛化性能。
近期,研究人员提出了一种新型图像分割方法,称为Generalizable SAM(GenSAM)模型。该模型的设计目标是通过通用任务描述,实现对图像的有针对性分割,摆脱了对样本特定提示的依赖。在具体任务中,给定一个任务描述,例如“伪装样本分割”,模型需要根据任务描述准确地分割图像中伪装的动物,而不依赖于手动提供每个图像的具体提示。
为了解决这一问题,GenSAM模型引入了Cross-modal Chains of Thought Prompting(CCTP)思维链和Progressive Mask Generation(PMG)框架。CCTP思维链通过将任务通用的文本提示映射到任务下的所有图片上,生成个性化的感兴趣物体和其背景的共识热力图,从而获得可靠的视觉提示来引导分割。为了在测试时实现自适应,PMG框架通过迭代地将生成的热力图重新加权到原图上,引导模型对可能的目标区域进行从粗到细的聚焦。
GenSAM的实验结果表明,在伪装样本分割任务上,该模型相比基线方法和弱监督方法表现更好,具备良好的泛化性能。该模型的提出为像SAM这样的提示分割方法在实际应用中迈出了重要的一步。
这一研究的创新之处在于,通过提供通用任务描述,GenSAM模型可以批量地处理所有相关任务的无标注图片,而无需为每个图片手动提供具体的提示。这使得模型在处理大量数据时更加高效和可扩展。
在未来,GenSAM模型的方法可能为其他领域的图像分割任务提供新的思路和解决方案。研究人员希望这种通用任务描述引导的图像分割方法能够推动计算机视觉领域的发展,提高模型在复杂场景下的分割准确性。
论文链接:https://arxiv.org/pdf/2312.07374.pdf
项目链接:https://top.aibase.com/tool/gensam
苹果英国商店创下新的收入记录 超过疫情爆发前水平
据appleinsider报道,新的文件显示,英国的苹果商店在新冠病毒关闭后迅速恢复,最新的数据超过了疫情前的收入。和全世界一样,苹果在疫情期间一直是英国最早关闭商店的零售商之一。虽然其在线苹果商店继续运营,但其当时的38家英国商店却经历了长期的关闭和不时的重新开放。站长网2023-07-15 11:18:570002李彦宏:未来50%的工作将是提示词工程
今日,百度创始人、董事长兼CEO李彦宏在2023中关村论坛上表示,大模型是人工智能新时代的核心,将改变人工智能和世界。李彦宏提到,大模型重新定义了人机交互,自然语言人机交互将带来提示词革命。大模型将重新定义营销和客服,并催生AI原生应用。百度将做第一个把全部产品重做一遍的公司。李彦宏还提到,人工智能技术可能出现对人类不利的方向,需要防止失控。站长网2023-05-26 14:10:070000小米14 Ultra钛金属特别版明日首销 售价8799元起
小米14Ultra钛金属特别版明天即将震撼首销,售价定为8799元。这款小米14Ultra钛金属特别版,采用了高端奢华的钛金属材质,这一材质不仅轻盈坚固,更兼具出色的耐腐蚀性和生物相容性,展现了小米对工艺与品质的极致追求。站长网2024-03-11 08:57:450000视频生成模型Motion-I2V:支持控制视频运动轨迹
Motion-I2V是一种新型的视频生成模型,可以像Runway的运动笔刷一样控制视频生成。它能够从一张静态图片生成连贯且可控制的视频,效果惊人!这个技术还能对生成视频进行运动控制,例如可以生成一辆车在道路上行驶的视频,而且还能控制车辆的行驶方向和速度等细节。项目地址:https://top.aibase.com/tool/motion-i2vMotion-I2V的主要功能特点包括:站长网2024-02-04 10:38:070001Redmi K60至尊版官宣 将于8月14日发布
Redmi手机官方宣布,红米K60至尊版将于8月14日正式发布。这款手机至少会有黑、青两款配色,相机Deco采用钻切设计,线条硬朗,整机辨识度极高。搭载天玑9200处理器,安兔兔V10跑分超过177万分。除了强大的天玑9200处理器,RedmiK60至尊版还配备了PixelWorks的X7独显芯片。这款手机可以在系统层面实现提升帧率和优化功耗”两大功能。站长网2023-08-11 10:16:400000