MediaPipe

谷歌最近发布了MediaPipeDiffusion插件，这是一个可在移动设备上运行的低成本可控文本到图像生成解决方案。该插件可以提取条件图像中的特征，并将其注入到扩散模型的编码器中，以实现对图像生成过程的控制。与ControlNet相比，MediaPipeDiffusion插件的推理效率提高了20倍，在v100上运行甚至可以提速高达100倍。

Diffusion模型近年来在文本到图像生成方面得到广泛应用，并取得了显著的成功，从而在图像质量、推理性能和创造性范围方面实现了重大改进。然而，在难以用文字明确定义的条件下，有效的生成管理仍然是一个挑战。