StreamMultiDiffusion：实时交互式图像生成和编辑的工具

来自韩国首尔国立大学的团队发布新应用StreamMultiDiffusion，这是一种用于实时交互式图像生成和编辑的工具，这是将之前已发布的技术 MultiDiffusion + StreamDiffusion + LCM做了优化整合。

StreamMultiDiffusion通过稳定快速的推理技术，并将模型重构为全新的多提示流批处理架构，我们成功实现了比现有解决方案快10倍的全景生成速度，并在单个RTX 2080 Ti GPU上达到了1.57 FPS的基于区域文本到图像的合成速度。

这一解决方案为交互式图像生成开启了一种新的模式，我们称之为“语义调色板”。在这一模式下，用户可以从给定的多个手绘区域中实时生成高质量图像，这些区域编码了特定的语义含义（例如，鹰、女孩等）。

主要功能和特点：

实时生成： StreamMultiDiffusion能够迅速生成高分辨率的图像，这意味着你可以即时看到根据你的描述和草图创建的图像。

区域控制： 它允许用户通过绘制特定区域并赋予它们特定的语义含义（例如“鹰”、“女孩”）来控制图像的生成。

高质量输出： 尽管生成速度快，但生成的图像质量仍然很高，细节丰富。

用户友好： 它提供了一个直观的用户界面，使得即使是非专业人士也能轻松使用。

工作原理：

StreamMultiDiffusion结合了多种先进的技术，包括扩散模型、快速推理技术和多提示流批处理架构。扩散模型是一种生成模型，能够生成逼真的图像。快速推理技术减少了从这些模型生成图像所需的步骤数量。多提示流批处理架构则允许模型同时处理多个输入，提高了生成速度。

StreamMultiDiffusion技术在图像生成方面的创新点主要包括以下几个方面：

实时区域基础文本到图像生成框架（Real-Time Region-Based Text-to-Image Generation Framework）：这是首个能够实时根据用户手绘区域和文本提示生成图像的框架，它通过稳定快速推理技术和重构模型架构来实现。
多提示流批处理架构（Multi-Prompt Stream Batch Architecture）：StreamMultiDiffusion引入了一种新的架构，可以在单个GPU上同时处理多个文本提示，显著提高了生成速度和效率。
加速全景图像生成（Accelerated Panorama Generation）：该技术能够比现有解决方案快10倍的速度生成全景图像，这对于需要快速生成大尺寸图像的应用场景尤为重要。
语义调色板（Semantic Palette）：这是一种新的交互式图像生成范式，用户可以通过给定的多个手绘区域实时生成高质量图像，每个区域都编码了特定的语义含义。
稳定化的MultiDiffusion技术：通过三种技术（潜在预平均化、掩码中心引导引导和量化掩码）来稳定MultiDiffusion，使其与快速推理技术兼容，从而实现快速的区域基础文本到图像合成。
高控制性和高质量图像合成：StreamMultiDiffusion不仅加速了图像生成过程，还保持了图像的高质量和细节，同时提供了对生成过程的精细控制。
开放源代码和演示应用：研究者们提供了代码和演示应用，使得社区可以访问和利用这项技术，进一步推动了图像生成技术的发展和应用。