Hugging Face文生成图模型aMUSEd 几秒钟内就能生成AI图像
划重点:
🔍 Hugging Face 推出的 aMUSEd 模型可以在几秒钟内生成图像,比其他竞争对手如 Stable Diffusion 更快。
🔍 aMUSEd 使用了一种轻量级的文本到图像模型,基于 Google 的 MUSE 模型。
🔍 aMUSEd 采用了 Masked Image Model (MIM) 架构,这种架构减少了推理步骤,提高了生成速度和可解释性。
AI 图像生成模型的一个最大问题就是速度:使用 ChatGPT 或 Stable Diffusion 生成一张图像可能需要几分钟的时间。甚至 Meta 首席执行官马克・扎克伯格在去年的 Meta Connect 大会上也抱怨了图像生成速度。
Hugging Face 团队正试图通过一款名为 aMUSEd 的新模型加快速度,该模型可以在短短几秒钟内生成图像。
这款轻量级的文本到图像模型基于谷歌的 MUSE 模型,参数规模约为8亿。aMUSEd 可以部署在移动设备等设备上。它的速度来自于它的构建方式。aMUSEd 采用了一种称为 Masked Image Model (MIM) 的架构,而不是 Stable Diffusion 和其他图像生成模型中的潜在扩散。
Hugging Face 团队表示,MIM 减少了推理步骤,从而提高了模型的生成速度和可解释性。而且它的小尺寸也使得它运行速度很快。
aMUSEd项目体验网址:https://top.aibase.com/tool/aamused
你可以通过 Hugging Face 上的演示来尝试 aMUSEd。该模型目前以研究预览版的形式提供,但使用 OpenRAIL 许可证,意味着可以进行实验或调整,同时也对商业适应性友好。
aMUSEd 生成的图像质量可以进一步提高,团队也公开承认了这一点,选择发布它以 “鼓励社区探索像 MIM 这样的非扩散框架用于图像生成”。
aMUSEd 模型可以进行零样本的图像修复,而 Stable Diffusion XL 无法做到,这是 Hugging Face 团队的说法。
关于如何在几秒钟内生成 AI 图像,aMUSEd 中的 MIM 方法类似于语言建模中使用的技术,将数据的某些部分隐藏(或屏蔽),模型学习预测这些隐藏部分。在 aMUSEd 的情况下,隐藏的是图像而不是文本。
在训练模型时,Hugging Face 团队使用一种名为 VQGAN(Vector Quantized Generative Adversarial Network)的工具,将输入图像转换为一系列标记。然后部分屏蔽图像标记,模型通过文本编码器基于未屏蔽部分和提示来预测屏蔽部分。在推理过程中,文本提示通过相同的文本编码器转换为模型理解的格式。aMUSEd 从一组随机屏蔽的标记开始,逐步完善图像。
在每一次完善过程中,模型预测图像的部分,保留其最自信的部分,并继续完善其余部分。经过一定步骤后,模型的预测通过 VQGAN 解码器处理,生成最终的图像。
aMUSEd 还可以在自定义数据集上进行微调。Hugging Face 展示了使用8位 Adam 优化器和 float16精度微调的模型,该过程使用了不到11GB 的 GPU VRAM。
可以在这里访问模型微调的训练脚本:
https://github.com/huggingface/diffusers/blob/main/examples/amused/train_amused.py
线下爆料,荣耀90 Pro首发3840Hz调光四曲屏,价格却出人意料
最近这段时间似乎各家都在打磨新机,随着六一八的即将到来,又有不少主打轻薄颜值的手机即将上市,都想在这个时期拿下不错的成绩。不过暂时来看,似乎荣耀90能成为那个最大的黑马,虽然还没有发布,但是在各种配置的爆料下,热度持续上升,而且在线下已经有不少宣传图的出现,很多人似乎都在等待荣耀90系列的发布。站长网2023-05-25 03:49:140001苹果推出全新 15 英寸 MacBook Air:搭载 M2 芯片 售价 10499 元起
苹果在WWDC2023上宣布推出了一款全新的MacBookAir,配备了15.3英寸LiquidRetina显示屏,并搭载了苹果最新的M2芯片。站长网2023-06-06 16:24:460000前荣耀总经理创办科技创企发布AR眼镜ARknovv A1
据新浪科技消息,28日,由前华为荣耀总经理吴德周创办的AR科技创企致敬未知,在2023ChinaJoy期间宣布推出了他们的AR品牌ARknovv,并推出了两款AR眼镜产品——ARknovvA1及ARknovvA1HUD。站长网2023-07-28 16:07:170002让你的土豆更美味!我国“优薯计划”迎来重大突破
很少有人知道,我们在快餐店吃的薯条几乎都来自100多年前育成的马铃薯品种——作为全球人口的主粮之一,马铃薯育种进程之缓慢可见一斑。中国科学家为此提出了“优薯计划”,目的就是让中国乃至全世界的人们吃上更高产、更优质的马铃薯(又名土豆)。0000VidChapters-7M:更全面的视频导航新工具
VidChapters-7M是一个拥有700万个用户制作章节标记的大型视频集合。这个新的数据集有助于创建和测试将视频分割成章节并为其命名的方法,从而使观众更容易找到他们想要的内容。VidChapters-7M的创建者希望这个工具能够改善目前视频导航的不足,让用户更轻松地找到感兴趣的内容。项目地址:https://antoyang.github.io/vidchapters.html站长网2023-10-27 22:14:530000