个性化图像生成和编辑方法SISO：适合在只有单张主题图像的情况下使用

巴伊兰大学和英伟达的研究人员推出一种无需训练的方法SISO，用于从单张主题图像进行个性化图像生成和编辑。SISO 是一种无需训练的方法，通过优化与输入主题图像的相似度分数来实现图像的个性化生成和编辑。

• 项目主页：https://siso-paper.github.io
• GitHub：https://github.com/yairshp/SISO

SISO 的核心目标是解决在只有单张主题图像的情况下，如何高效地进行个性化图像生成和编辑的问题。传统方法通常需要大量的主题图像进行训练，或者在生成过程中容易出现质量下降、风格泄露等问题。SISO 通过优化生成图像与单张主题图像之间的相似度，实现了高质量的个性化图像生成和编辑。

例如，你有一张喜欢的宠物猫的照片，你想将这只猫放入不同的场景中，比如在巴黎的街头、在海滩上或者在餐厅里。传统的图像生成方法可能需要大量的猫的图片来学习猫的特征，而 SISO 只需要这张单张的猫的照片，就能生成高质量的个性化图像。

主要功能

1. 个性化图像生成：根据单张主题图像生成新的图像，这些图像可以符合不同的文本提示，比如“在巴黎的街头”或“在海滩上”。
2. 个性化图像编辑：将单张主题图像中的主体替换到其他图像中，同时保持背景不变。例如，将一张照片中的猫替换为另一张照片中的猫，同时保持原照片的背景不变。

主要特点

1. 无需训练：SISO 不需要对模型进行额外的训练，直接在推理阶段通过优化相似度分数来生成或编辑图像。
2. 高质量生成：即使只有单张主题图像，SISO 也能生成高质量的图像，避免了传统方法中常见的风格泄露和结构扭曲问题。
3. 背景保留：在图像编辑任务中，SISO 能够很好地保留原始图像的背景，只替换主题主体。
4. 灵活性：SISO 可以与多种生成模型（如 SDXL-Turbo、FLUX Schnell、Sana 等）结合使用，具有很强的通用性。

工作原理

SISO 的工作原理基于以下步骤：

1. 相似度优化：SISO 使用预训练的特征提取器（如 DINO 和 IR）来计算生成图像与主题图像之间的相似度分数。通过优化这个分数，模型能够生成与主题图像相似的图像。
2. 迭代优化：在生成过程中，SISO 会不断生成图像、计算相似度损失，并更新模型参数。这个过程会一直重复，直到生成的图像达到满意的相似度。
3. 背景保留（仅限编辑任务）：在图像编辑任务中，SISO 会使用额外的背景保留损失函数，确保在替换主体的同时保持背景不变。

应用场景

1. 广告和营销：根据客户需求，将特定的产品或人物放入不同的场景中，用于广告宣传。
2. 数字艺术创作：艺术家可以根据自己的创意，将特定的主题元素融入到不同的艺术作品中。
3. 影视制作：在影视后期制作中，快速替换场景中的主体，同时保持背景不变，节省时间和成本。
4. 个人照片编辑：用户可以将自己的照片中的主体替换到其他场景中，或者生成新的创意照片。