推理版图像局部重绘技术LanPaint：通过在去噪（denoising）前进行多次迭代“思考”，实现了更精确和自然的图像重绘效果

LanPaint 是一种创新的推理版图像局部重绘技术，它通过在去噪（denoising）前进行多次迭代“思考”，实现了更精确和自然的图像重绘效果。这种技术的核心在于让模型在去噪之前，通过多次迭代来评估和调整蒙版区域与非蒙版区域之间的协调性，从而实现无缝且准确的图像修复和生成。图像局部重绘

• GitHub：https://github.com/scraed/LanPaint

在 ComfyUI 中使用 LanPaint 非常简单，只需将默认的 KSampler 替换为 LanPaint 的节点即可，只是目前尚未支持Flux和SD3.5。

LanPaint 的优势

🎨 零训练修复

LanPaint 可以立即与任何 Stable Diffusion（SD）模型及其 ControlNet 配合使用，甚至包括用户自己训练的自定义模型。这意味着无需额外训练，即可解锁精准的图像修复功能。

🛠️ 简单集成

在 ComfyUI 中使用 LanPaint 非常简单。只需将默认的 KSampler 替换为 LanPaint 的节点即可，工作流程与标准 ComfyUI KSampler 完全一致，无需学习新的操作方式。

🎯 真正的空白生成

与传统方法不同，LanPaint 不需要将默认去噪值设为 0.7（保留蒙版中 30% 的原始像素）。它能够实现 100% 的新内容创建，无需“覆盖”现有内容，从而避免了传统方法中可能出现的痕迹或不自然的过渡。

🌈 不仅限于修复

除了图像修复，LanPaint 还可以用于生成一致性角色的简单方法。例如，通过多视角、多角度的提示词，可以生成角色的侧视图或其他角度的图像。

工作原理

LanPaint 的核心在于引入了蒙版区域与非蒙版区域之间的双向对齐机制。它会持续评估以下两个问题：

1. “新内容与现有元素是否协调？”
2. “现有元素是否支持新创作？”

基于这些问题的评估，LanPaint 迭代更新蒙版和非蒙版区域的噪声，从而实现更自然、更协调的图像重绘效果。

最新更新

LanPaint 已迎来重大更新！所有示例现使用 LanPaint K Sampler，提供简化的界面，同时提升了性能和稳定性。用户可以更轻松地通过 ComfyUI 使用 LanPaint，而无需复杂的设置。

示例结果

为了展示 LanPaint 的强大功能，以下是一些示例结果。所有示例均使用随机种子 0 生成 4 张图像批次，以进行公平比较。请注意，生成 4 张图像可能会超出您的 GPU 内存，因此建议根据需要调整批次大小。

示例 1：篮子变为篮球

• 工具：LanPaint K Sampler
• 思考步骤：2 次
• 效果：将一个普通的篮子图像中的篮子替换为篮球，过渡自然且无痕迹。

示例 2：白衬衫变为蓝衬衫

• 工具：LanPaint K Sampler
• 思考步骤：5 次
• 效果：将人物图像中的白衬衫替换为蓝衬衫，颜色过渡自然，细节保留完整。

示例 3：微笑变为悲伤

• 工具：LanPaint K Sampler
• 思考步骤：5 次
• 效果：将人物图像中的微笑表情替换为悲伤表情，情感表达自然且细节丰富。

示例 4：损坏修复

• 工具：LanPaint K Sampler
• 思考步骤：5 次
• 效果：修复图像中的损坏区域，生成的内容与周围环境无缝衔接。

示例 5：大面积损坏修复

• 工具：LanPaint K Sampler
• 思考步骤：20 次
• 效果：修复图像中的大面积损坏区域，生成的内容自然且协调。

示例 6：角色一致性（侧视图生成）

• 工具：LanPaint K Sampler
• 思考步骤：5 次
• 效果：生成角色的侧视图，保持角色特征的一致性。

技巧分享

• 技巧 1：可以通过 Photoshop 多次复制角色图像来强调角色。例如，在示例 6 中，额外复制了一份角色图像以增强效果。
• 技巧 2：使用类似多视角、多角度、克隆、旋转等提示词，可以进一步提升生成效果。

如何使用这些示例

1. 导航至 example 文件夹（例如 example_1），点击 View Workflow & Masks，下载所有图片
2. 将 InPainted_Drag_Me_to_ComfyUI.png 拖入 ComfyUI 以加载工作流程
3. 点击 Model Used in This Example 从 Civitai 下载所需模型
4. 将模型加载到 Load Checkpoint 节点中
5. 将 Original_No_Mask.png 上传至 Original Image 组中的 Load image 节点（最左侧）
6. 将 Masked_Load_Me_in_Loader.png 上传至 Mask image for inpainting 组中的 Load image 节点（左侧第二）
7. 排队执行任务，您将从三种方法中获得修复结果：
   • VAE Encode for Inpainting（中间）
   • Set Latent Noise Mask（右侧第二）
   • LanPaint（最右侧）

通过比较和探索每种方法的结果，您可以更好地了解 LanPaint 的优势。

快速入门

安装 LanPaint 节点

• 通过 ComfyUI-Manager：在管理器中搜索“LanPaint”并直接安装
• 手动安装：在 ComfyUI-Manager 中点击“Install via Git URL”，并输入 GitHub 仓库链接；或者，将此仓库克隆到 ComfyUI/custom_nodes 文件夹中
• 备份下载：https://pan.baidu.com/s/11UMw14Ud0Gf7EoMVZt8lug?pwd=r5uv

重启 ComfyUI

重启 ComfyUI 以加载 LanPaint 节点。安装完成后，您将在 ComfyUI 的“sampling”类别下找到 LanPaint 节点。使用它们就像使用默认 KSampler 一样简单，即可实现高质量修复。

使用方法

工作流程设置

与默认 ComfyUI KSampler 相同，只需将默认 KSampler 替换为 LanPaint KSampler 节点即可。修复工作流程与 SetLatentNoiseMask 修复工作流程一致。

注意事项

• 蒙版要求：LanPaint 需要二值蒙版（值为 0 或 1），不支持透明度或平滑处理。为确保兼容性，请在蒙版编辑器中将蒙版的透明度和硬度设为最大值。在修复过程中，任何带有平滑或渐变的蒙版将自动转换为二值蒙版。
• 文本提示词：LanPaint 高度依赖您的文本提示词来引导修复。请明确描述您希望在蒙版区域生成的内容。如果结果出现瑕疵或不匹配的元素，可使用针对性的负面提示词进行纠正。

基本采样器

LanPaint KSampler

推荐默认设置：

• Steps：推荐 50 步以上
• LanPaint NumSteps：去噪前的思考轮次。推荐大多数任务使用 5。
• LanPaint EndSigma：禁用思考的噪声水平。推荐真实风格使用 0.6（在 Juggernaut-xl 上测试），动漫风格使用 3.0（在 Animagine XL 4.0 上测试）。

测试模型：默认设置已在 Animagine XL 4.0 和 Juggernaut-xl 上测试。其他模型可能需要调整参数。如果在您的模型上无法正常工作，请提出问题或分享您自己的设置。

LanPaint KSampler (高级)

全参数控制：关键参数

完整参数控制：关键参数 有关每个参数的详细描述，只需将鼠标悬停在相应输入字段上，即可查看带有额外信息的工具提示。

LanPaint KSampler (高级) 调优指南

对于具有挑战性的修复任务

1️⃣ 主要调整：

• 如果修复区域不够无缝，降低 LanPaint_endsigma，增加 LanPaint_NumSteps（思考迭代次数）。

2️⃣ 次要调整：

• 提高 LanPaint_Lambda（双向引导尺度）将强制蒙版/非蒙版区域更紧密对齐。
• 如果输出模糊，增加 LanPaint_endsigma 以在去噪结束时关闭思考，或者降低 LanPaint_StepSize 以减小思考步长。
• 如果提示词不重要，尝试将 LanPaint_cfg_BIG（用于非蒙版区域的 cfg 尺度，默认 -0.5）提高到 8，以获得更好的修复效果。

3️⃣ 平衡速度与稳定性：

• 降低 LanPaint_Friction 以优先获得更快的结果，减少“思考”步骤（可能会牺牲稳定性）。
• 增加 LanPaint_Tamed（将噪声标准化到球面上）或 LanPaint_Alpha（约束欠阻尼朗之万动态的摩擦）以抑制模糊或怪纹等瑕疵。

⚠️ 注意：

• 最佳参数因模型和修复区域大小而异。
• 为有效调优，固定种子并逐步调整参数，同时观察结果。这有助于隔离每个设置的影响。最好使用一批图像进行调整，以避免对单一图像过拟合。

ToDo 列表

• Flux 暂不支持：目前 LanPaint 不支持 Flux 模式。
• SD 3.5 问题：在 SD 3.5 上使用时可能会出现问题。
• Detailer 模式：正在尝试实现 Detailer 模式，以进一步提升修复效果。