Meta 推出基于 token 的全新 AI 图像生成模型 CM3leon:更高效先进
Meta 正在继续推进对新形式生成式人工智能模型的研究,并公布了最新成果,名为 CM3leon(发音类似于「chameleon(变色龙)」)。
图片来自Meta
CM3leon 是一个用于文本到图像创建和图像到文本创建的多模态基础模型,对于自动生成图像标题非常有用。
人工智能生成的图像在当前已经不是新概念,广泛可用的工具如 Stable Diffusion、DALL-E 和 Midjourney 已经取得了很大成功。
新鲜的是 Meta 正在使用构建 CM3leon 的技术以及 Meta 声称该基础模型能够实现的性能。
当前文本到图像生成技术主要依赖 diffusion 模型(Stable Diffusion 的名称源自此)来创建图像。CM3leon 则采用了不同的方法:基于 token 的自回归模型。
Meta 的研究人员在一篇名为《Scaling Autoregressive Multi-Modal Models: Pretraining and Instruction Tuning》的研究论文中写道:「近年来,由于性能强大且相对计算成本较低,diffusion 模型在图像生成工作中占据主导地位。相比之下,众所周知基于 token 的自回归模型也能产生出色的结果,尤其在全局图像连贯性方面更好,但训练和推理的成本要高得多。」
Meta 的研究人员已经能够通过 CM3leon 实际演示基于 token 的自回归模型实际上可以比基于 diffusion 模型的方法更高效。
Meta 的研究人员在一篇博客文章中写道:「尽管使用的计算资源比之前基于Transformer 的方法少了五倍,CM3leon 在文本到图像生成方面实现了最先进的性能。」
CM3leon 的基本工作原理在某种程度上与现有的文本生成模型类似。
Meta 的研究人员首先进行了一个检索增强的预训练阶段。与仅从互联网上收集公开可用的图像不同,这种方法已经给基于 diffusion 模型的模型带来了一些法律挑战,Meta 选择了一条不同的道路。
Meta 的研究论文指出:「在文本到图像生成领域,图像数据来源的道德影响已经引发了广泛的讨论。在本研究中,我们只使用 Shutterstock 上的经过授权的图像。因此,我们可以避免与图像所有权和归属相关的担忧,同时不会牺牲性能。」
在预训练之后,CM3leon 模型经过一阶段有监督微调(SFT),Meta 的研究人员声称这种方法产生了高度优化的结果,无论是资源利用还是图像质量。SFT 是 OpenAI 用于训练 ChatGPT 的一种方法。Meta 在研究论文中指出,SFT 用于训练模型理解复杂提示,在生成任务中非常有用。
论文中指出:「我们发现,指导调整显著提高了多模态模型在图像标题生成、视觉问答、基于文本的编辑和条件图像生成等各种任务中的性能。」
通过查看 Meta 在关于 CM3leon 的博客文章中分享的生成图像样本集,结果令人印象深刻,清楚地显示了模型理解复杂的多阶段提示,从而生成了分辨率极高的图像。
目前,CM3leon 仍然是一个研究项目,尚不清楚 Meta 是否会在其平台的一个服务中公开提供这项技术。鉴于它的强大性能和更高的生成效率,CM3leon 及其生成式人工智能方法有可能超越研究阶段最终得到应用。
vivo: 自研 AI 大模型将在OriginOS 4系统中首次应用
vivoOS产品副总裁周围在个人微博上分享了vivo在AI领域的最新创新成果。vivo自研的AI大模型在C-Eval全球中文榜单上位列第二,同时在CMMLU全球中文榜单上荣获第一。站长网2023-09-22 09:23:040000联合国教科文组织:由OpenAI和Meta支持的AI工具存在性别歧视内容
**划重点:**1.📌联合国教科文组织研究发现,由OpenAI和Meta算法推动的全球最广泛使用的AI工具存在性别歧视。2.📌专家评估了2种算法以及OpenAI的GPT-2和GPT-3.5,后者是广受欢迎的ChatGPT聊天机器人的驱动程序。3.📌研究指出,大型语言模型(LLMs)显示了对女性的明显偏见,产生将女性与“家庭”、“家庭”或“孩子”等词语联系在一起的文本。站长网2024-03-08 13:36:360000研究人员:矢量数据库并非是解决构建LLM内存不足的唯一方式
在过去的12个月里,矢量数据库的兴起使得解决语言模型长期记忆不足的问题成为热门话题。然而,研究人员提出了对这些矢量数据库常见方法的反思,并主张构建搜索引擎而非矢量数据库。站长网2023-12-21 16:32:220000Kognitos发布生成式AI支持的业务自动化服务
Kognitos今天宣布了其新的自助式方法,使组织能够利用生成AI进行业务流程自动化。Kognitos一直在建立一个平台,允许组织使用自然人类语言来定义和启用BPA。这是该公司上个月在VBTransform活动上详细介绍的一种方法。这项新的提供,自助式生成AI适用于卓越中心和财务组织,扩展了该公司的平台,也是AI初创公司首次提供自助式服务,因为Kognitos旨在使商业用户更容易启用自动化。站长网2023-08-09 10:55:260000PS直接革自己命!AI功能迎来史诗级加强,网友:改变游戏规则
好家伙,Adobe这回是下定决心要用AI革自己的命了!率先动刀的,就是大家伙儿最为熟悉的修图软件PS(Photoshop)。语言有些苍白,咱们直接上效果——想给马路增设条中央分隔带,只需鼠标画个圈,在对话框里输入“yellowroadlines”,下一秒AI就变出一条双实线!不仅透视没啥问题,纹理细节也都很逼真:如果想不好要P什么,就连提示词都不用输入。站长网2023-05-25 17:53:520006