UC伯克利研究者推大世界模型(LWM) 与Gemini 1.5 Pro能力相当
最近,谷歌的Gemini1.5和OpenAI的Sora模型引发热议,但这些模型是否真的能很好地理解世界?以Sora为例,虽然给人们带来了惊喜,但在模拟复杂物理原理方面存在一定局限性,如健身男子倒跑跑步机。随着大型模型的发展,固有的缺点也显现出来,模型在处理现实世界难以用语言描述的内容时表现困难,长程任务也难以处理。
因此,视频模型的出现在一定程度上弥补了这一问题,提供了语言和静态图像所缺少的时间信息,为大型语言模型(LLM)的发展带来新的可能性。然而,由于内存限制、计算复杂性和有限的数据集,从数百万个视频和语言序列的token中学习仍然具有挑战性。
项目地址:https://top.aibase.com/tool/large-world-models
为了解决这些挑战,来自UC伯克利的研究者推出了大世界模型(LWM),利用RingAttention技术对长序列进行可扩展训练,这是一个带有视频生成功能的多模态模型,非常强大,与Gemini1.5Pro的能力相当。这个模型支持100万上下文的文本检索,可以分析超过1小时的视频,并支持视频和图片生成。
该研究在长视频和语言序列上训练了一个具有极大上下文尺寸的transformers模型,为新的检索任务和长视频理解设立了新的标杆。
通过RingAttention、掩码序列打包等方法,研究团队成功训练了数百万长度的多模态序列,提供了处理超过100万token长文本文档和视频的完全开源模型。LWM模型不仅可以根据文本提示生成图像和视频,还能深入理解图片、回答关于图片的问题,表现出优越的长视频理解能力。
总的来说,LWM模型在长视频问题回答方面表现优于业界其他模型,包括谷歌的Gemini Pro和OpenAI的GPT-4。研究者通过多种策略克服了视觉-语言训练的挑战,为处理长视频与语言序列提供了新的思路,如损失加权和使用模型生成的问答数据。该研究的推出将为语言模型更好地理解物理世界打开新的可能性,为人工智能技术的发展带来新的契机。
百度百家号升级MCN机构合作政策 不达标机构或被清退处置
百度百家号发布关于《百家号MCN机构合作政策》升级的公告称,为了维护百家号平台健康、有序的内容生态,为更多原创作者提供良好的创作环境,自2024年1月8日起,《百家号MCN机构合作政策》(以下简称为“合作政策”)正式升级生效施行。百家号MCN机构准入、入驻后日常运营等各环节考察要求全面升级。0001RingAttention:一种降低Transformer内存需求的新AI技术
划重点:1.Transformer模型在处理长序列时面临的内存需求挑战,UC伯克利研究人员提出的RingAttention方法。2.RingAttention通过将自注意力和前馈网络计算块块地分布在多个设备上,实现了内存高效,允许训练超过500倍长度的序列。3.RingAttention的潜在应用领域,包括大型视频-音频-语言模型和理解科学数据。站长网2023-10-20 14:22:480003腾讯和字节也在谈生意了
多年来,中国互联网巨头之间多数互不往来,各自在自己的体系内做着竞争性业务和投资,甚至形成了阿里系、腾讯系、字节系这样的藩篱。而现在,这样一堵隐形的墙正在被拆掉。自阿里妈妈和腾讯广告进一步深化合作后,腾讯和字节也走的越来越近了。1月8日,市场消息称,字节跳动旗下游戏部门朝夕光年正与腾讯谈判出售多款游戏,涉及出售项目的团队分散在上海、深圳等地。0000鸭嘴兽-70B登顶HuggingFace开源大模型排行榜
要点:鸭嘴兽-70B使用优化过的数据集Open-Platypus训练,删除相似和重复问题。应用LoRA和PEFT对模型进行微调,重点优化非注意力模块。检查并解决测试数据泄漏和训练数据污染问题。最近,来自波士顿大学的鸭嘴兽-70B模型登顶了HuggingFace的开源大模型排行榜,成为目前全球开源领域中表现最强的语言模型。鸭嘴兽的变强有以下三个关键原因:站长网2023-08-26 10:25:210000谷歌要求 Android 应用更好地审查 AI 生成内容
划重点:1.🚫Android应用必须改进对AI生成内容的审查,提供用户举报方式。2.📢使用AI生成内容的应用必须在明年初前添加报告不良内容的按钮。3.🔒Google将限制应用程序对用户照片和视频的访问权限,以保护用户隐私。站长网2023-10-26 10:18:460001