轻松拿捏4K高清图像理解!这个多模态大模型自动分析网页海报内容,打工人简直不要太方便
一个可以自动分析PDF、网页、海报、Excel图表内容的大模型,对于打工人来说简直不要太方便。
上海AI Lab,香港中文大学等研究机构提出的InternLM-XComposer2-4KHD(简写为IXC2-4KHD)模型让这成为了现实。
相比于其他多模态大模型不超过1500x1500的分辨率限制,该工作将多模态大模型的最大输入图像提升到超过4K (3840x1600)分辨率,并支持任意长宽比和336像素~4K动态分辨率变化。
发布三天,该模型就登顶Hugging Face视觉问答模型热度榜单第一。
轻松拿捏4K图像理解
先来看效果~
研究人员输入论文(ShareGPT4V: Improving Large Multi-Modal Models with Better Captions)的首页截图(分辨率为2550x3300),并询问论文哪个模型在MMBench上的性能最高。
需要注意的是,该信息在输入截图的正文文字部分并未提及,仅仅出现在一个相当复杂的雷达图中。面对这么刁钻的问题,IXC2-4KHD成功理解了雷达图中的信息,正确回答问题。
面对更加极端分辨率的图像输入(816x5133),IXC2-4KHD轻松理解图像包括7个部分,并准确说明了每个部分包含的文字信息内容。
随后,研究人员还在16项多模态大模型评测指标上全面测试了IXC2-4KHD的能力,其中5项评测(DocVQA、ChartQA、InfographicVQA、TextVQA、OCRBench)关注模型的高分辨率图像理解能力。
仅仅使用7B参数量,IXC2-4KHD在其中10项评测取得了媲美甚至超越GPT4V和Gemini Pro的结果,展现了不局限于高分辨率图像理解,而是对各种任务和场景的泛用能力。
△仅7B参数量的IXC2-4KHD性能媲美GPT-4V和Gemini-Pro
如何实现4K动态分辨率?
为了实现4K动态分辨率的目标,IXC2-4KHD包括了三个主要设计:
(1)动态分辨率训练:
△4K分辨率图像处理策略
在IXC2-4KHD的框架中,输入图像在保持长宽比的情况下,被随机放大到介于输入面积和最大面积(不超过55x336x336,等价于3840x1617分辨率)的一个中间尺寸。
随后,图像被自动切块成多个336x336的区域,分别抽取视觉特征。这种动态分辨率的训练策略可以让模型适应任意分辨率的视觉输入,同时也弥补了高分辨率训练数据不足的问题。
实验表明,随着动态分辨率上限的增加,模型在高分辨率图像理解任务(InfographicVQA、DocVQA、TextVQA)上实现了稳定的性能提升,并且在4K分辨率仍然未达到上界,展现了更高分辨率进一步扩展的潜力。
(2)添加切块布局信息:
为了使模型能够适应变化丰富的动态分辨率,研究人员发现需要将切块布局信息作为额外的输入。为了实现这个目的,研究人员采取了一种简单的策略:一个特殊的‘换行’(’\n’)令牌被插入到每一行的切块之后,用于告知模型切块的布局。实验表明,添加切块布局信息,对于变化幅度比较小的动态分辨率训练(HD9代表切块区域个数不超过9)影响不大,而对于动态4K分辨率训练则可以带来显著的性能提升。
(3)推理阶段扩展分辨率
研究人员还发现,使用动态分辨率的模型,可以在推理阶段通过增加最大切块上限直接扩展分辨率,并且带来额外的性能增益。例如将HD9(最多9块)的训练模型直接使用HD16进行测试,可以在InfographicVQA上观察到高达8%的性能提升。
IXC2-4KHD将多模态大模型支持的分辨率提升到了4K的水平,研究人员表示目前这种通过增加切块个数支持更大图像输入的策略遇到了计算代价和显存的瓶颈,因此他们计划提出更加高效的策略在未来实现更高分辨率的支持。
论文链接:
https://arxiv.org/pdf/2404.06512.pdf
项目链接:
https://github.com/InternLM/InternLM-XComposer
阿里达摩院发布多癌影像分析通用模型
阿里达摩院发布了一款多癌影像分析通用模型,可以检测、分割和诊断八种主要的高发致死癌症。这个模型通过使用MaskTransformer语义分割和肿瘤表示学习方法,解决了多种肿瘤图像统一检测的难题,适用于肺、结直肠、肝、胃、乳腺、食管、胰腺和肾等癌症类型。站长网2023-08-17 09:06:540000字节对话类AI产品Grace内测,角逐AIGC千亿市场
6月初,Tech星球独家披露字节正在内部测试对话类AI项目,代号Grace,经过2个月的研发测试,再次有了新进展。Tech星球独家获悉,Grace已经开启测试,测试界面终于曝光,另外,测试网站也已搭建好,或为后期官网。但目前想体验Grace,需要邀请或授权的相关账号登录后,才能使用。站长网2023-08-06 10:30:100000董宇辉新账号与辉同行上线 此前个人工作室已成立
董宇辉新账号“与辉同行”正式上线,并获平台认证,认证信息为“与辉同行(北京)科技有限公司”。账号介绍为:这是真的,与辉同行。目前该账号仅发布了一条图文内容。此前,与辉同行(北京)科技有限公司成立,法定代表人董宇辉。注册资本1000万元,经营范围包含鲜肉零售、网络文化经营、演出经纪等。该公司注册地址与东方甄选关联公司东方优选(北京)科技有限公司为同一栋楼。站长网2023-12-26 20:09:330000官宣:余承东出任华为智能汽车解决方案BU董事长
快科技9月22日消息,就在昨天,多家媒体报道称华为智能车业务迎来重大调整,余承东不再担任华为智能汽车解决方案BUCEO一职,升任车BU董事长,接替他的是华为光产品线总裁靳玉志,华为内部已对上述调整进行了内部发文。站长网2023-09-22 21:02:330000手持式人工智能设备Rabbit R1一天内售出10000台
站长之家(ChinaZ.com)1月11日消息:近日,初创公司Rabbit推出的R1,一款迷你小工具,旨在提供便捷的应用程序使用体验,宣布在X上的一篇帖子中,首批产品已经售罄,一天内销售量超过10,000台。在该帖子中,Rabbit表示:“当我们开始构建R1时,我们内部期望发布当天能够售出500台设备,”并补充道:“在24小时内,我们已经实现了20倍的销售速度!”站长网2024-01-11 14:01:150001