腾讯与悉尼大学联手打造GPT4Video:显著提升大语言模型视频生成能力
**划重点:**
1. 🤖 **GPT4Video简介:** 腾讯与悉尼大学合作推出GPT4Video,这是一个统一的多模态框架,赋予大型语言模型(LLMs)独特的视频理解和生成能力。
2. 🧠 **技术亮点:** GPT4Video通过引入视频理解模块、LLM主体和视频生成组件,弥补了现有多模态语言模型在生成多模态输出方面的不足。
3. 🌐 **实验证明:** GPT4Video在多个多模态基准测试中表现出色,包括开放式问答、视频字幕和文本到视频生成,彰显其在整合先进视频理解和生成功能方面的卓越性能。
在多模态大型语言模型(MLLMs)领域取得显著进展的同时,尽管在输入端多模态理解方面取得了显著进展,但在多模态内容生成领域仍存在明显的空白。为填补这一空白,腾讯人工智能实验室与悉尼大学联手推出了GPT4Video,这是一个统一的多模态框架,赋予大型语言模型(LLMs)独特的视频理解和生成能力。
研究团队的主要贡献可以总结如下:
1.引入了GPT4Video,这是一个多功能框架,为LLMs提供了视频理解和生成的能力。
2. 提出了一种简单而有效的微调方法,旨在增强视频生成的安全性,成为常用RLHF方法的一种吸引人的替代方案。
3. 释放数据集,以促进未来在多模态LLMs领域的研究。
GPT4Video是对现有多模态大型语言模型(MLLMs)局限性的回应,尽管这些模型在处理多模态输入方面表现出色,但在生成多模态输出方面存在不足。GPT4Video的架构包括三个重要组件:
1. **视频理解模块:** 利用视频特征提取器和视频摘要生成器,将视频信息编码并对齐到LLM的词嵌入空间。
2. **LLM主体:** 借鉴LLaMA结构,采用参数高效微调(PEFT)方法,特别是LoRA,同时保留原始预训练参数。
3. **视频生成组件:** 通过精心构建的指令跟踪数据集,使LLM生成模型库中模型的提示。
团队首先利用冻结的ViT-L/14模型捕捉原始视频特征,然后使用视频抽象模块在时间和空间轴上压缩视频信息。GPT4Video的核心由冻结的LLaMA模型驱动,通过LoRA和自定义的视频中心化、安全对齐数据进行高效微调。这使其能够理解视频并生成适当的视频提示,随后用于从Textto-Video模型库中生成视频。
在各种多模态基准测试中的实验结果,包括开放式问答、视频字幕和文本到视频生成,验证了GPT4Video的有效性和普适性。此外,GPT4Video展示了利用LLMs强大的上下文摘要和文本表达能力为视频生成详细提示的能力。
GPT4Video通过整合先进的视频理解和生成功能,显著提升了大型语言模型的性能。其在多模态基准测试中表现出色进一步强调了其卓越性能。
该项目网址:https://github.com/gpt4video/GPT4Video
论文网址:https://arxiv.org/abs/2311.16511
微信加大“自媒体”造谣治理力度:限制增粉、阶梯封号
快科技1月3日消息,微信官方发布《关于持续治理自媒体”违规问题的公告》。公告称,微信加大自媒体”造谣传谣、假冒仿冒等问题的治理力度,进一步引导自媒体”创作者规范打标,切实履行平台主体责任,持续落实清朗从严整治自媒体乱象”专项行动、《关于加强自媒体”管理的通知》等有关要求,从严处置相关违规账号和内容。1、从严打击造谣传谣,搬运传播谣言的自媒体”0000瑞幸打假泰国山寨店败诉 此前已声明没有在泰国开店
据南方都市报报道,12月1日,泰国知识产权和国际贸易中央法庭对一起商标版权纠纷案件做出了判决:中国瑞幸咖啡公司败诉,立刻执行。这起案件涉及到泰国皇家50R集团(50Rgroup)侵犯商标版权的问题。据了解,泰国皇家50R集团是一家在泰国本土从事多元化经营管理的企业,旗下子公司——泰国瑞幸咖啡有限公司拥有瑞幸品牌商标在泰国商业厅合法注册,并已在泰国开设了十几家瑞幸咖啡店。站长网2023-12-04 09:56:560000到2031年,全球生成式人工智能市场预计将达1360亿美元
**划重点:**1.🚀生成式人工智能市场份额预计在未来几年内迅速扩大,预计到2031年将达到1360亿美元,以33.2%的复合年增长率增长。2.🌎北美是最大的市场,其次是欧洲和亚太地区。在北美,生成式人工智能在医疗保健、媒体和娱乐行业的部署不断推动市场发展。站长网2023-11-30 14:33:550000Open AI 推出 ChatGPT for iOS ,支持通过苹果 App Store 订阅Plus
OpenAI发布了供iOS使用的ChatGPT,可以通过苹果应用商店订阅Plus服务,同时宣布即将支持安卓订阅。似乎那些在网页版被禁止的机房IP可以在ChatGPTforiOSApp中不受限制地使用。0001已经跑出千万月流水,Playrix赌到三消下一个王炸?
由于全球经济下行、加之前两年疫情推动游戏行业快速增长,近两年全球游戏产业规模整体回落。data.ai的《2024移动市场报告》显示,2023年全球手游玩家总支出达到1073.1亿美元,同比下降21.9亿美元。不过,作为头部品类的消除类手游营收依然坚挺,2023年全球内购流水达到101亿美元,同比上涨16.3%,还是除了派对游戏之外唯一一个下载量和流水都有增长的头部品类。站长网2024-01-16 12:50:290000