Controlnet、Fooocus、Stable Diffusion WebUI Forge的开发者lllyasviel推出新的项目LayerDiffusion，它允许大规模预训练的潜在扩散模型（如Stable Diffusion）生成透明图像。这种方法可以生成单个透明图像或多个透明图层。LayerDiffusion通过学习一种“潜在透明度”来编码透明度信息，将其融入到预训练模型的潜在空间中，同时保持了原始潜在分布的稳定性，从而确保了高质量的图像生成。
LayerDiffusion为图像生成领域带来了一种新的工具，它能够生成高质量的透明图像和图层，为创意表达和视觉内容创作提供了更多可能性。目前已可以在Stable Diffusion WebUI Forge上通过插件使用该功能。
主要功能：
- 生成透明图像：能够根据文本提示生成具有透明度的图像。
- 生成多个图层：可以同时生成多个具有透明度的图像图层，这些图层可以和谐地混合在一起。
主要特点：
- 保持高质量：通过最小化对原始潜在分布的改动，保持了预训练模型的高质量输出。
- 灵活性：可以应用于不同的开源图像生成器，或适应于各种条件控制系统，实现如前景/背景条件的图层生成、联合图层生成、图层内容的结构控制等应用。
工作原理：
- 潜在透明度编码：通过训练一个独立的神经网络模型，将图像的透明度信息编码为潜在空间中的一个偏移量。
- 潜在空间调整：在不破坏原始潜在分布的前提下，调整潜在空间以支持透明度的编码和解码。
- 模型微调：使用调整后的潜在空间对预训练的扩散模型进行微调，使其能够生成透明图像。
LayerDiffusion方法在现有的图像生成模型中具有以下优势：
- 透明度支持：LayerDiffusion专门设计用于生成透明图像和图层，这是许多现有图像生成模型（如Stable Diffusion）所不具备的。它通过潜在透明度编码，允许模型在不破坏原有潜在分布的情况下，生成具有透明度的图像。
- 高质量输出：通过精细调整潜在空间，LayerDiffusion能够保持预训练模型的高质量输出，同时引入透明度。这意味着生成的透明图像在视觉上与非透明图像具有同等的质量。
- 灵活性和适应性：LayerDiffusion可以应用于不同的开源图像生成器，并且能够适应各种条件控制系统，这使得它在多种应用场景中都具有很高的灵活性。
- 用户研究支持：用户研究显示，LayerDiffusion生成的透明内容在大多数情况下（97%）比传统的生成后处理（如生成-然后-抠图）方法更受用户欢迎，且与商业透明资产的质量相当。
LayerDiffusion也存在一些局限性：
- 复杂背景挑战：如果输入的前景图像是一个干净的透明对象，没有特殊的照明或阴影效果，那么生成一个能够与前景和谐混合的背景可能会非常具有挑战性。在这种情况下，模型可能无法在所有情况下都成功。
- 训练数据需求：为了训练LayerDiffusion模型，需要大量的透明图像对。这可能需要通过人工参与的方式来收集和准备数据集，这在一定程度上限制了模型的可扩展性和训练的自动化程度。
- 计算资源：虽然LayerDiffusion在个人或实验室规模的研究中是训练友好的，但整个训练过程可能需要显著的计算资源，这可能会限制其在资源有限的环境中的应用。
- 特定应用的调整：虽然LayerDiffusion提供了广泛的应用可能性，但在特定应用中可能需要额外的调整和优化，以确保生成的透明图像满足特定需求。
总的来说，LayerDiffusion在透明图像生成方面提供了显著的优势，尤其是在保持高质量输出和灵活性方面。然而，它在处理复杂背景和训练数据需求方面的局限性，可能需要进一步的研究和改进。
评论0