中国团队开源大规模高质量图文数据集ShareGPT4V
要点:
中国团队开源大规模高质量图文数据集ShareGPT4V,基于GPT4-Vision构建,训练了一个7B模型,在多模态性能上超越同级模型。
ShareGPT4V数据集包含120万条图像-文本描述数据,涵盖世界知识、对象属性、空间关系、艺术评价等多方面,超越现有数据集在多样性和信息涵盖度方面。
使用ShareGPT4V数据集进行实验,研究者展示了其在多种架构和参数规模的多模态模型中的有效性,最终得到了在多模态基准测试上表现优异的ShareGPT4V-7B模型。
中国团队最近开源了一个引人瞩目的图文数据集,命名为ShareGPT4V,它基于GPT4-Vision构建,训练了一个7B模型。这一举措在多模态领域取得了显著的进展,超越了同级别的模型。
该数据集包含了120万条图像-文本描述数据,涵盖了世界知识、对象属性、空间关系、艺术评价等多个方面,在多样性和信息涵盖度上明显优于现有数据集。
论文地址:https://arxiv.org/abs/2311.12793
Demo演示:https://huggingface.co/spaces/Lin-Chen/ShareGPT4V-7B
项目地址:https://github.com/InternLM/InternLM-XComposer/tree/main/projects/ShareGPT4V
多模态模型的性能在很大程度上受制于模态对齐的效果,而现有工作中缺乏大规模高质量的图像-文本数据。为了解决这一问题,中科大和上海AI Lab的研究者们推出了ShareGPT4V,这是一个开创性的大型图文数据集。
通过对GPT4-Vision模型产生的10万条图像-文本描述数据进行深入研究,他们成功构建了这一高质量的数据集,涉及的内容丰富多样,包括世界知识、艺术评价等。
这一数据集的推出为多模态研究和应用奠定了新的基石。在实验中,研究者们展示了ShareGPT4V数据集在多种架构和参数规模的多模态模型中的有效性。通过等量替换实验,他们成功提升了多种模型的性能。
最终,通过在预训练和有监督微调阶段同时使用ShareGPT4V数据集,他们得到了ShareGPT4V-7B模型,在多模态基准测试中取得了优异的成绩。
这一研究为未来的多模态研究和应用提供了有力支持,也促使多模态开源社区关注高质量图像描述的开发,预示着更强大、智能的多模态模型的出现。这一成果对于推动人工智能领域的发展具有积极的意义。
腾讯和字节也在谈生意了
多年来,中国互联网巨头之间多数互不往来,各自在自己的体系内做着竞争性业务和投资,甚至形成了阿里系、腾讯系、字节系这样的藩篱。而现在,这样一堵隐形的墙正在被拆掉。自阿里妈妈和腾讯广告进一步深化合作后,腾讯和字节也走的越来越近了。1月8日,市场消息称,字节跳动旗下游戏部门朝夕光年正与腾讯谈判出售多款游戏,涉及出售项目的团队分散在上海、深圳等地。0000科大讯飞将于5月6日发布讯飞星火大模型
昨日晚间,科大讯飞发布第一季度报告称,2023年一季度实现营业收入28.88亿元,同比下降17.64%;归母净亏损5789.5万元,上年同期净利润1.1亿元。2022年实现营业收入188.2亿元,同比增长2.77%,归母净利润为5.61亿元。站长网2023-04-21 08:43:580000Google AI 推出 MediaPipe Diffusion 插件:可在设备上实现可控的文本到图像生成
Diffusion模型近年来在文本到图像生成方面得到广泛应用,并取得了显著的成功,从而在图像质量、推理性能和创造性范围方面实现了重大改进。然而,在难以用文字明确定义的条件下,有效的生成管理仍然是一个挑战。站长网2023-07-04 00:16:110002哪些中小商家会被淘宝重点扶持?
中小商家真的有机会成为“主角”?日前,淘天集团中小企业发展中心与淘宝教育共同发起了面向中小商家的扶持活动——“星生代百店创造营”,优先从特色卖家、源头好货、原创品牌、实力渠道四个赛道中选拔标杆商家,支持特色卖家通过直播、私域运营等方式实现流量变现,引导源头好货商家通过极致性价比供给拉动成交,协助原创品牌孵化趋势新品,鼓励渠道商以价换量获得增长。站长网2023-07-24 22:17:350000开源模型「幻觉」更严重,这是三元组粒度的幻觉检测套件
BSChecker:细粒度大模型幻觉检测工具与基准测试排行榜大模型长期以来一直存在一个致命的问题,即生成幻觉。由于数据集的复杂性,难免会包含过时和错误的信息,这使得输出质量面临着极大的挑战。过多的重复信息还可能导致大型模型产生偏见,这也算是一种形式的幻觉。如何检测和有效缓解大模型的生成幻觉问题一直是学术界的热门课题。0000