开源世界模型LWM :百万级上下文,长视频理解超GPT-4
划重点:
⭐️ UC 伯克利研究人员开源首个世界模型,具有百万级上下文处理能力。
⭐️ 该模型在多模态任务中表现出色,长视频理解效果优于 GPT-4V 和 Gemini Pro。
⭐️ LWM 系列模型在 GitHub 上受到广泛关注,开发者积极参与并获得高星数。
来自加州大学伯克利分校的研究人员最近发布并开源了首个世界模型,被称为 LWM(LargeWorldModel)系列模型。这一模型采用了大量视频和书籍数据集,通过 RingAttention 技术实现了长序列的可扩展训练,使得模型的上下文长度达到了1M token。
在实验中,LWM 系列模型展现出了优异的多模态性能,在文本图像生成、文本视频生成以及基于图像的对话等任务中表现出色。
研究人员指出,LWM 系列模型的多模态能力优于目前商业模型 GPT-4V 和 Gemini Pro,在处理超长视频理解方面尤为出色。更令人振奋的是,LWM 是一款开源模型,基于 Llama27B,受到了开发者们的热烈欢迎,仅在不到两周的时间里,就在 GitHub 上获得了超过6.2k 的 star。
该模型的训练过程分为两个阶段,首先是上下文扩展阶段,主要利用 Books3数据集将上下文长度从32K 扩展到1M。第二阶段是视觉语言培训,通过联合训练长视频和语言序列,提高模型在多模态任务中的表现。研究人员还对不同长度的文本和视频数据进行了逐步训练,并在模型设计和训练过程中做出了相应调整和优化。
这一开源的世界模型展示了强大的多模态处理能力,为相关领域的研究和开发提供了重要参考。其优秀的性能表现和开源特性吸引了众多开发者的关注和参与,为人工智能领域的进步和创新带来了新的契机。
论文地址:https://arxiv.org/pdf/2402.08268.pdf
项目入口:https://github.com/LargeWorldModel/LWM
Benifei:欧盟人工智能法案将成为全球规则的蓝本
欧盟议员BrandoBenifei周三表示,他预期欧盟人工智能法案将作为全球各国立法的「蓝本」。在多个国家探索如何监管AI的同时,欧洲立法者通过起草AI规则率先行动,旨在为几乎所有行业和企业的关键技术设定全球标准。这些草案规则可能在下个月获得批准。站长网2023-11-09 16:34:510000百度旗下集度汽车在苏州成立科技公司 含AI软件开发业务
天眼查App显示,近日,苏州集度科技服务有限公司成立,法定代表人为夏一平,注册资本1000万人民币,经营范围含机动车检验检测服务、食品销售、人工智能基础软件开发、新能源汽车整车销售、二手车经纪、代驾服务、露营地服务、小微型客车租赁经营服务等。该公司由集度汽车旗下集度科技(武汉)有限公司全资持股。站长网2023-07-19 22:07:580000周鸿祎训练数字人代替演讲!直言有危机感 不想被数字人“干掉”
快科技5月28日消息,近日,2023黑马AIGC产业大会在北京举行,有关注大会的同学可能发现了,360集团创始人周鸿祎是以数字人的方式出席大会。今日,周鸿祎表示,黑马的会因嗓子哑了不能到场,正好训练了一个数字人,派他替我演讲,听说他一出场观众都乐了,说比我本人温柔,看来他挺受欢迎。站长网2023-05-28 10:54:440000Meta悄然发布Llama 2 Long AI,在某些任务上击败GPT-3.5 Turbo和Claude 2
本文概要:Meta悄然发布Llama2LongAI模型,该模型在某些任务上击败了GPT-3.5Turbo和Claude2。Llama2Long是基于Meta的开源Llama2模型,经过改进后能够更好地处理长文本和复杂任务。Llama2Long的改进主要包括:增加了长文本数据集、修改了位置编码、使用了强化学习。站长网2023-10-03 10:56:140001文心一言全面开放 百度“云一朵”智能助理用户突破600万
站长之家(ChinaZ.com)9月5日消息:9月5日消息,在2023百度云智大会上,百度集团执行副总裁、百度智能云事业群总裁沈抖透露百度网盘智能助理“云一朵”在文心一言全面开放后,累计用户数已突破600万。这从侧面反映出文心一言的强大吸引力。站长网2023-09-05 10:47:190000