视频解析工具Video-ChatGPT上线 可用文本描述视频内容
虽然像Runway ML这样的公司在将文本转换为视频方面取得了长足的进步,但 VideoChatGPT却另辟蹊径,赋予语言模型分析视频的能力。Video-ChatGPT 可以用文本描述视频的内容,例如,通过突出显示不寻常的元素来解释为什么剪辑可能很有趣。
开发人员通过一段长颈鹿从跳水板上跳入水中的视频来演示这一点。Video-ChatGPT 指出:“这并不常见,因为长颈鹿并不擅长杂技或潜水。”
链接到开源语言模型的预训练视频编码器
研究人员将 Video-ChatGPT 的设计描述为简单且易于扩展。它使用预训练的视频编码器,并将其与预训练然后微调的语言模型相结合。
尽管名称如此,阿布扎比穆罕默德·本·扎耶德人工智能大学的项目并未使用 OpenAI 技术。相反,研究人员嵌入了一个线性层,将视频编码器连接到语言模型。
除了要求特定任务的用户提示外,语言模型还会使用定义其角色和一般工作的系统命令进行提示。
人机增强数据集
研究人员结合使用人工注释和半自动化方法来生成高质量数据,以微调 Vicuna 模型。这些数据的范围从详细描述到创造性任务和访谈,涵盖了各种不同的概念。
总的来说,该数据集包含大约86,000个高质量的问答,一些由人类注释,一些由 GPT 模型注释,一些由图像分析系统的上下文注释。
Video-ChatGPT 的核心是其结合视频理解和文本生成的能力。它在视频推理、创造力和对时间和空间的理解方面的能力已经过广泛测试。
多模态人工智能未来
在最近文本生成取得重大进展之后,OpenAI 和谷歌等公司正在转向多模态模型。Bard 理解并可以对图像做出反应,并在其正式发布时展示了这些能力。
从图像到移动图像将是下一个合乎逻辑的步骤。谷歌已经宣布开发一款将于今年晚些时候发布的 带有 Project Gemini 的大型多模式 AI 模型。
比尔·盖茨:ChatGPT、生成 AI已经达到顶峰,GPT-5不会有太大改进
文章要点:1.比尔·盖茨认为生成AI如ChatGPT已经达到顶峰,未来的GPT-5不会有太大改进。2.生成AI在今年一直是热门话题,但盖茨对这一技术的未来表达了一些担忧,认为其发展可能已经停滞。3.盖茨在接受采访时承认,虽然他对生成AI的未来发展持保留意见,但他也承认自己的评估可能有误。站长网2023-10-26 18:05:380000微软承认 Bing Chat 全面开放后需要添加更多的 GPU 以加快必应聊天的响应时间
微软现在允许任何人无需加入等待列表即可使用其BingChat聊天机器人。当然,这意味着很多人现在都在首次尝试使用该服务。然而,一些BingChat用户现在表示,聊天机器人的响应速度正在变慢。微软的广告和网络服务主管MikhailParakhin在Twitter上回应道,「使用量正在增长,我们的GPU增加速度跟不上。」站长网2023-05-09 11:03:090000最严新规上线,303名主播被关收礼物功能!抖音直播“健康分”来真的了
2024年刚开始,抖音直播就有了新动作。1月3日,试运行了3个多月后,抖音直播“健康分”正式运行,对应的管理措施落地生效:首日近5000名主播受到处罚,其中190名主播被无限期回收直播权限、303名主播被关闭了礼物收入功能并禁止使用PK功能。这可以说是面向主播的最严新规。那么,这个新规实行之后,主播和机构应该怎么做才能避免处罚?平台又为何要推行这么严格的新规?站长网2024-01-04 12:11:300000公众号又改版,增加了这些功能!对自媒体有哪些影响?
有新媒体朋友发现,前两天微信公众号(前端页面)又改版了,让我分析一波。这次改版,主要是微信文章页面的按钮发生了变化,会一定程度上影响文章分享率,关注转化率。最新的微信版本即可观察到变化。改版后,文章底部的四个按钮“分享”、“收藏”、“在看”和“点赞”并列显示在右下角,相比改版前,变得更加工整美观,操作便捷。站长网2023-07-18 12:30:510004“暴利”短剧,8天过亿?|新视界
短剧的风愈吹愈烈。每集一两分钟,成制作本不到50万,“三无剧组”《无双》上线8天,充值破1亿元;咪蒙再创业之旗下达人「姜十七」主演的《夜班日记》播放量破10亿;在腾讯视频上线的《拜托了,别宠我》分账票房破3000万;只有三集的《逃出大英博物馆》刷爆微博热搜。站长网2023-11-09 18:08:110000