多模态大模型MMICL霸榜 支持文本图像视频输入
要点:
1、MMICL在多模态能力评测中表现突出,支持文本图像视频三种模态输入。
2、采用两阶段训练,可实现“现学现卖”,有效缓解视觉语言模型中的语言偏见。
3、已开源可商用的Flan版和仅科研用的Vicuna版,都发布在GitHub。
最近,北京交通大学等机构联合推出了新多模态大模型MMICL。它支持文本、图像、视频三种模态的混合输入,在多项多模态能力评测中表现抢眼。
MMICL在MMBench和MME两项多模态测评中均获得不俗的成绩。它采用Flan-T5XXL作为基础模型,通过两阶段训练完成。第一阶段是预训练,使用大规模数据集;第二阶段是多模态上下文微调,使用自建包含丰富多模态样本的MIC数据集。这种训练方式让MMICL既具备强大的语义理解能力,又特别适合处理复杂的多模态输入。
项目地址:https://github.com/HaozheZhao/MIC
MMICL使用了VCR、VQAv2、GQA、COCO、NLVR2等多种数据源。研究人员将这些数据转换成了少样本式数据,存储在jsonl文件中,形成了带有0到少样本的多指令式数据。研究使用python数据预处理脚本,将数据转换为后续训练的原始化数据。数据格式支持交错的图像文字输入,相关图像输入以及语境示范输入。
MMICL最大的特色在于同时接受文本和图像的交错输入,就像微信聊天一样自然。它可以分析两张图像的关系,也可以从视频中提取时空信息。如果给它一些示例,MMICL还能进行“现学现卖”,对未知知识进行类比和推理。研究团队表示,MMICL成功缓解了视觉语言模型中的语言偏见问题,避免在大量文本输入时忽视视觉信息。
MMICL的核心功能包括:
1)理解并推理多幅图像之间的关系;
2)人工构建的语境训练数据,支持语境学习;
3)状态最先进的多模态建模能力。
目前,MMICL已开源两个版本,分别基于FlanT5XL和Vicuna模型,可满足商用和科研需求。该模型支持多种互动方式,开发者可以通过GitHub获取代码和模型进行试用。诸如图像分类、视频理解等多模态任务,都可以基于MMICL得到进一步提升。
总体来说,MMICL是新兴的多模态预训练模型中的佼佼者。它具备处理复杂多模态输入的能力,支持各种多模态任务精调。MMICL的开源发布为多模态AI的研究和应用提供了新的选择。随着其性能和适用场景的不断优化,MMICL有望成为多模态领域的新宠。
苹果试点类ChatGPT工具Ask 帮助客服回答用户问题
苹果正在试点推进一款名为Ask的类ChatGPT工具,旨在帮助其AppleCare客服团队更有效地回答用户的技术问题。据悉,这款Ask工具具备强大的功能,能够自动生成相关的操作步骤、疑难解答等内容。当用户向客服团队提出技术疑问时,客服人员可以直接参考Ask工具提供的信息,从而更加快速、准确地为用户解决问题。站长网2024-02-23 16:35:160000计算机工程年薪中位数57万!全球毕业5年薪资最高16大专业曝光,STEM工作数暴涨
【新智元导读】全世界薪水最高的专业是哪个?最新研究显示,计算机工程专业是当前最赚钱的工作,年薪中位数达到57万。毕业5年后,收入最高的大学专业都有哪些?首选的应该是,工程师。最近,纽约联储对员工开启的一项研究显示:毕业五年后,收入最高的前16个大学专业的中,工程学学位就占据了9席。计算机工程年薪位列第一其中,计算机工程专业排名第一,年薪中位数为80,000美元(约57万)。站长网2024-03-17 18:19:230000云从科技旗下从容大模型发布1.5版本
云从科技宣布于8月21日发布从容大模型1.5版本,该版本包含十亿级、百亿级、千亿级多种模型规格,实测性能在全球大模型综合性考试评测(C-Eval)中位居百亿级第1,总榜单第4。同时,从容1.5版本的重点是参数量为130亿的行业大模型,该模型从千亿大模型中蒸馏产生,在52类测试指标中有44类超过ChatGPT、29类超过GPT-4。站长网2023-08-22 14:33:500000马斯克的脑机人体试验揭秘:手术花费超7万元
11月8日消息,据媒体报道,马斯克的脑机接口初创公司Neuralink在9月份宣布该公司已获得一个独立审查委员会的批准,将进行首次人体试验,对瘫痪患者的大脑植入设备。据了解,Neuralink脑机接口技术的初始目的是让瘫痪者能够用思想控制外部设备,目前暂定鼠标和键盘。0000OpenAI首席执行官计划访问首尔寻找芯片合作伙伴
**划重点:**1.🇺🇸OpenAI首席执行官SamAltman计划访问首尔,与SK集团主席CheyTae-won会面,寻求半导体合作,减少对美国人工智能芯片领导者Nvidia的依赖。2.🤝Altman强烈愿意与国内芯片制造商合作,以开发人工智能加速器,并将在访问期间讨论与韩国半导体业界人士的人工智能芯片合作。站长网2024-01-22 16:09:280000