苹果AI/ML团队开发多模态大模型Ferret 成功突破谷歌人机验证码难题
要点:
1. 苹果AI/ML团队与哥伦比亚大学研究团队合作开发的多模态大模型“雪貂”(Ferret)能够在图像中准确找到交通信号灯,比GPT-4V表现更出色,提高了大模型在“看说答”任务中的精确度。
2. Ferret的关键创新在于将引用(referring)和定位(grounding)两方面的空间理解能力紧密结合,使模型能够同时理解给定区域的语义和找到对应目标。
3. Ferret采用混合区域表示方法,结合了离散坐标和连续特征,可以接受多样化的区域输入,如点、边界框和自由形状,并生成每个定位对象的坐标,这一方法在多任务评估中表现出色。
苹果AI/ML团队与哥伦比亚大学合作研发的多模态大模型“雪貂”(Ferret)已经成功突破了谷歌人机验证码的难题,能够轻松识别图像中的交通信号灯并准确圈出其位置,其性能直逼GPT-4V。
Ferret的关键在于改进了大模型在“看说答”任务中的精确度,这得益于其出色的图文关联能力。
项目地址:https://github.com/apple/ml-ferret
论文地址:https://arxiv.org/pdf/2310.07704.pdf
Ferret的核心创新在于将引用和定位的两方面空间理解能力更紧密地结合在一起。引用指模型能够准确理解给定区域的语义,而定位则要求模型在图像中找到对应目标。
传统的多模态大模型通常只能单独使用引用和定位,但Ferret提出了一种新型的混合区域表示方法,使模型能够同时理解语义并找到目标。
这一方法使用混合区域表示,结合了离散坐标和连续特征。模型可以接受多样化的区域输入,包括点、边界框和自由形状,并能生成每个定位对象的坐标。
这一独特的方法使Ferret在多任务评估中表现出色,包括图像局部区域的引用/定位、语义、知识和推理能力。特别是在需要指代和视觉grounding的新任务上,Ferret表现卓越,提高了描述图像细节的准确性,减少了模型的幻觉。
最令人骄傲的是,Ferret是由一支全华人团队开发的,包括苹果AI/ML团队和哥伦比亚大学的研究团队。这一成就突显了中国在多模态大模型领域的卓越研究实力。通过这一研究,Ferret为解决图像理解和多模态任务提供了新的方向,有望在人机交互、智能搜索等领域取得显著的突破。
HMD“抛弃”诺基亚品牌?或许只是为了省钱
几年前,我们三易生活曾参加过HMD在国内举办的一次新品发布会。当时这个成立还没有太久的厂商花了很长时间来介绍他们的来历,并讲述了其员工是如何主要来自于原来的诺基亚手机部门,又是怎么继承了诺基亚手机的技术和供应链。但是在当时的那场发布会上,HMD推出了一款看起来与曾经的诺基亚并没有太大关联性的中端安卓机。站长网2024-02-12 10:25:170000元宇宙凉了,过年不看春晚,还有蓬勃发展的虚拟人
2023,有人相信虚拟数字人赛道能继续腾飞,也有人揣测虚拟数字人是一鸣惊人而竭的匆匆流星。这一年,虚拟数字人的融资和应用较前一年都呈现出从“心动爆发期”向“平稳考察期”的转变。除了喧哗市声,虚拟数字人的应用市场也有许多涌动的暗流。究竟要不要用虚拟数字人?有人观望,有人否定,也有人结束观望投入行动,更有人成了第一批吃到螃蟹的。除了商家态度,虚拟数字人在各大平台也面临着不同的待遇和命运。站长网2024-02-16 10:48:130000掉粉近200万!东方甄选宣布停播思过:俞敏洪带领做检讨
快科技12月16日消息,近日,东方甄选因为小作文”引发的争议大火,网络舆论也不断发酵,抖音账号粉丝总量快速跌破3000万,与12月9日的3116万相比已掉粉超180万。今天凌晨,东方甄选抖音号更新简介显示,今天将暂时停播一天,闭门思过,俞老师带领大家进行检讨。将于12月17日准时开播。虽然东方甄选CEO孙东旭已经两次出面道歉,但因为种种自称是不职业”的表现,让很多网友非常不满。0000文旅爆火、平台混战,究竟谁能做好这门生意?
从淄博烧烤到贵州村超、天津大爷,再到2024年初的哈尔滨。每个一夜爆火的旅游城市,都离不开抖音、快手、小红书等内容平台的助推,旅游行业新的流量中心在转移,原本的行业格局正在改变。从用户到商家、再到旅游景点,整条产业链上的关键角色,都在被短视频、直播、笔记等内容形式重塑。抖音、快手、小红书则不断加码,构建从种草到决策的消费闭环,进一步抢占市场,平台之间的“战争”硝烟弥漫。站长网2024-02-05 16:19:140000滑雪火出圈后,互联网拯救了多少00后新手的首滑焦虑?
“最热“”滑雪季从步入冬季开始,很多年轻人都只有两个终极目标:等过年和盼滑雪。12月以来,大雪陆续飘向全国各地,人们对滑雪的期待被拉至峰值。#看完我也想学滑雪了#、#滑雪治愈了我的冬季抑郁#和#第一次滑雪需要注意什么#在这个冬天频繁登上热搜。不少人在工位、心在雪场的年轻人,掏出手机搜索“滑雪”的频率开始日益增加。图源备注:图片由AI生成,图片授权服务商Midjourney站长网2023-12-29 14:19:590000