SAM模型加速变体EdgeSAM 比原始SAM提速40倍
站长网2023-12-14 12:10:341阅
EdgeSAM是一个优化过的SAM变体,相比原始SAM实现了40倍的速度提升,对性能的影响较小,可以在iPhone14上以30帧每秒的速度运行。
该方法将原始的基于ViT的SAM图像编码器提炼成纯CNN架构,更适合边缘设备。通过仔细评估各种提炼策略,研究人员证明了任务不可知的编码器提炼无法捕捉SAM所蕴含的全部知识。
地址:https://mmlab-ntu.github.io/project/edgesam/
为了克服这一瓶颈,他们在提炼过程中包括了提示编码器和蒙版解码器,循环中还有框和点提示,以便提炼模型能够准确捕捉用户输入和蒙版生成之间的复杂动态。此外,为了减轻点提示提炼带来的数据集偏差问题,研究人员在编码器中加入了一个轻量级模块。
关键的见解是在知识蒸馏过程中考虑提示,以便学生模型接收任务特定的指导,并专注于更难的训练目标,比如更精细的边界。
为此,引入了一种动态提示采样策略,旨在实现三个关键目标:从初始提示(无论是框还是点)动态生成多样化的提示组合,准确识别学生模型在掩模内表现不准确的区域,从而引导其专注于这些特定的部分,并促使教师模型,即SAM,产生更高质量的掩模,以提供更精确的指导。
0001
评论列表
共(0)条相关推荐
AI视野:ChatGPT用户可以访问互联网了;Photoshop网页版正式推出;微调多模态大模型会灾难性遗忘
📰🤖📢AI新鲜事ChatGPT用户可以访问互联网了!OpenAI宣布ChatGPT用户现在可以浏览互联网,不再受限于2021年9月之前的数据。这一更新允许用户访问最新信息,拓展了ChatGPT的应用领域。🚀AiBase提要:1.💡ChatGPT现在支持浏览互联网,不再受限于2021年9月前的数据。站长网2023-09-28 15:17:260000比尔盖茨称AI或能让人每周工作3天 而不必工作5天
微软联合创始人比尔盖茨最近在一个节目中表达了他对AI的独特观点。他认为,AI技术的广泛应用可能最终导致人们每周只需工作三天,而不是现在的五天。图源备注:图片由AI生成,图片授权服务商Midjourney站长网2023-11-23 10:31:410000大模型跑分家家碾压GPT-4,评测榜单是时候升级了?
今天在朋友圈看到一张图:国内的“百模大战”已升级成“两百模大战”,据不完全统计,今年1-7月国内共发布了64个大模型,截至目前叫得出名字的国产大模型已接近200家。这么多大模型,哪些是真能打的?在每天冒出来的各类“榜单”上出现了“家家第一”的情况,甚至已不止一款国产大模型“碾压”了GPT-4,且很多“世界顶级”大模型是出自刚成立的团队之手。站长网2023-11-29 16:14:040000在视觉提示中加入「标记」,微软等让GPT-4V看的更准、分的更细
最近一段时间,我们见证了大型语言模型(LLM)的显著进步。特别是,生成式预训练Transformer或GPT的发布引领了业界和学术界的多项突破。自GPT-4发布以来,大型多模态模型(LMM)引起了研究界越来越多的兴趣,许多工作致力于构建多模态GPT-4。站长网2023-10-24 21:20:450000满200减30!淘宝年终好价节将于12月9日开启
淘宝年终好价节将于12月9日8点正式开启。与往年相比,淘宝年终好价节在折扣力度、商品规模等方面都有大幅提升。除了淘宝商家,今年天猫品牌商家也全面参与,官方立减商品8.5折起。此外,还有跨店每满200减30的优惠活动。站长网2023-12-08 14:37:250000