登陆注册
12112

CommonCanvas:一种使用创意共享图片训练开放扩散模型的方法

站长网2023-11-02 10:50:380

核心要点:

研究团队提出了一种使用创意共享图片训练开放扩散模型的方法,以克服高质量数据和版权问题的挑战。

他们使用迁移学习技术创建了合成标题,与精选的创意共享图片匹配,用于训练生成模型,将文字转化为图像。

这一方法大大提高了生成模型的质量,创建了称为CommonCanvas的一组模型,可与SD2相媲美。

近年来,人工智能在文本到图像生成领域取得了显著进展。将书面描述转化为视觉表现具有广泛的应用,从创作内容到帮助盲人和讲故事。然而,研究人员面临着两个重大障碍,即缺乏高质量数据和从互联网抓取的数据集涉及的版权问题。

为了克服这些问题,一支研究团队提出了一个创新的方法,他们创建了一个创意共享许可(CC)的图像数据集,用于训练开放扩散模型,这些模型可以胜过Stable Diffusion2(SD2)。

论文地址:https://arxiv.org/pdf/2310.16825.pdf

这个方法有两个主要挑战:首先,高分辨率的CC照片虽然是开放许可的,但它们经常缺乏文本描述,这对于文本到图像生成模型的训练至关重要。

其次,与像LAION这样的大型专有数据集相比,CC照片数量较少,尽管它们是重要的资源。这引发了是否有足够的数据可以有效训练高质量模型的问题。

为了解决这些问题,研究团队采用了迁移学习技术,使用预训练模型创建了出色的合成标题,并将其与精心选择的CC照片相匹配。这种方法利用了模型从照片或其他输入生成文本的能力,通过创建一个照片和虚构标题的数据集,用于训练生成模型,将文字转化为视觉内容。

此外,他们还制定了一种既节约计算资源又高效利用数据的训练方法,以解决第二个挑战。这意味着有足够的CC照片可供训练高质量模型。最终,研究团队培训了多个文本到图像生成模型,这些模型被称为CommonCanvas系列,并在生成质量上媲美SD2。

通过该方法,他们克服了数据集大小的限制和使用人工标题的问题,实现了高质量的图像生成。总之,他们的研究为创意共享图像的利用提供了新方法,为生成模型的进一步发展提供了有力支持。同时,他们还将训练好的CommonCanvas模型、CC照片、人工标题和CommonCatalog数据集免费提供在GitHub上,以鼓励更多的合作和研究。

0000
评论列表
共(0)条