开源世界模型LWM :百万级上下文,长视频理解超GPT-4
划重点:
⭐️ UC 伯克利研究人员开源首个世界模型,具有百万级上下文处理能力。
⭐️ 该模型在多模态任务中表现出色,长视频理解效果优于 GPT-4V 和 Gemini Pro。
⭐️ LWM 系列模型在 GitHub 上受到广泛关注,开发者积极参与并获得高星数。
来自加州大学伯克利分校的研究人员最近发布并开源了首个世界模型,被称为 LWM(LargeWorldModel)系列模型。这一模型采用了大量视频和书籍数据集,通过 RingAttention 技术实现了长序列的可扩展训练,使得模型的上下文长度达到了1M token。
在实验中,LWM 系列模型展现出了优异的多模态性能,在文本图像生成、文本视频生成以及基于图像的对话等任务中表现出色。
![](https://i.zz5.net/images/article/2024/04/12/112251750.jpg)
研究人员指出,LWM 系列模型的多模态能力优于目前商业模型 GPT-4V 和 Gemini Pro,在处理超长视频理解方面尤为出色。更令人振奋的是,LWM 是一款开源模型,基于 Llama27B,受到了开发者们的热烈欢迎,仅在不到两周的时间里,就在 GitHub 上获得了超过6.2k 的 star。
该模型的训练过程分为两个阶段,首先是上下文扩展阶段,主要利用 Books3数据集将上下文长度从32K 扩展到1M。第二阶段是视觉语言培训,通过联合训练长视频和语言序列,提高模型在多模态任务中的表现。研究人员还对不同长度的文本和视频数据进行了逐步训练,并在模型设计和训练过程中做出了相应调整和优化。
这一开源的世界模型展示了强大的多模态处理能力,为相关领域的研究和开发提供了重要参考。其优秀的性能表现和开源特性吸引了众多开发者的关注和参与,为人工智能领域的进步和创新带来了新的契机。
论文地址:https://arxiv.org/pdf/2402.08268.pdf
项目入口:https://github.com/LargeWorldModel/LWM
研究发现:谷歌生成式AI搜索引擎占据84%的搜索查询
**划重点:**1.🚀**Gen-AI(生成式AI)搜索引擎统治搜索市场:**最新研究显示,谷歌的人工智能搜索引擎Gen-AI占据了84%的搜索查询,对品牌和发布者的搜索流量造成巨大冲击。2.💡**搜索引擎优化格局改变:**Gen-AI搜索引擎通过分析搜索的上下文、情感、意图和细微差别,提供基于事实的意见。站长网2024-01-19 11:46:400000四行代码让大模型上下文暴增3倍,羊驼Mistral都适用
无需微调,只要四行代码就能让大模型窗口长度暴增,最高可增加3倍!而且是“即插即用”,理论上可以适配任意大模型,目前已在Mistral和Llama2上试验成功。有了这项技术,大模型(LargeLM)就能摇身一变,成为LongLM。近日,来自得克萨斯农工大学等机构的华人学者们发布了全新的大模型窗口扩展方法SelfExtended(简称SE)。0000全面对标 OpenAI,智谱 AI 想要开发者
从成立之初就一直对标OpenAI,也被称为「中国OpenAI」的智谱AI,发布了新一代基座大模型GLM-4,性能相比上一代大幅增强,逼近GPT-4。并且,如几年前萨提亚·纳德拉带领微软全面拥抱开发者、开源一般,直接打出了「GLM❤️开源」、「GLM❤️开发者」的Slogan。“对标OpenAI的全栈大模型生态,我们努力赶上。”智谱AICEO张鹏这样说道。站长网2024-01-17 14:07:320000人人都爱李子柒
最近抖音发布的一条“美好奇妙夜”推广视频中,出现了李子柒的画面,她身着一身白色的中式女装,在田园风光之间展现插花手艺。尽管露面的时间还不到五秒,却在全网引发了“李子柒复出”的热议。这不是李子柒在最近一段时间的第一次现身,2023年9月的农民丰收节,李子柒作为推广大使出现在了宣传片中。那次,她提到“未来会用自己的方式带来更多优质内容”。当时,一度传出过李子柒和快手签约的消息,后来被快手方面否认。站长网2023-10-11 18:13:040000研究称懒惰是人类进步的根源!这是拖延症患者的福音!
大家是否曾经因自己的懒散而感到内疚?那么,我有个好消息要告诉你们!一项最新研究揭示了一个令人意外的发现:懒惰其实是人类进步的根源!但不幸的是,对于拖延症患者来说,他们无法对此进行评论。这个研究引发了广泛的争议和讨论。科学家们通过观察人类的行为、历史和社会发展,得出了一个大胆的结论:正是人类对劳动的厌倦和追求效率的欲望,催生了创新和进步。站长网2023-05-23 14:20:300004