洛桑联邦理工学院的研究人员推出新型图像编辑方法CODE（Confident Ordinary Differential Editing，自信常微分编辑），它能够在保持图像真实感的同时，对图像进行高质量的编辑和合成，特别是在处理分布外（Out-of-Distribution，简称OoD）的图像指导时表现出色。例如，你有一张破损的旧照片，希望通过编辑恢复其清晰度和细节，但又不想失去照片原有的特征。CODE方法可以在没有任何特定训练或对破损类型有详细了解的情况下，通过扩散模型作为生成先验，有效地增强图像，生成看起来既真实又具有高分辨率的结果。
- 项目主页：https://vita-epfl.github.io/CODE
- GitHub：https://github.com/vita-epfl/CODE
- Demo：https://colab.research.google.com/github/vita-epfl/CODE/blob/main/CODE.ipynb
CODE可以有效地处理 OoD 引导图像。利用扩散模型作为生成先验，CODE 通过沿着概率流常微分方程 (Probability-Flow Ordinary Differential Equation, ODE) 轨迹进行基于分数的更新来增强图像。这种方法不需要任务特定的训练、无需手工设计的模块，并且不假设条件图像受到的污染类型。CODE与任何扩散模型兼容。CODE 位于条件图像生成和盲图像恢复的交叉点上，以一种完全盲目的方式运行，仅依赖于预训练的生成模型。CODE提出了一种盲恢复的替代方案：不是根据关于潜在污染的假设来针对特定的真实图像，而是 CODE 致力于提高输入图像的概率同时保持其忠实度。这导致了最可能的分布内图像环绕着输入图像。CODE的贡献体现在两个方面。首先，CODE 提出了一种基于 ODE 的新型编辑方法，相比基于随机微分方程 (Stochastic Differential Equation, SDE) 的方法，提供了更好的控制性、真实性和忠实度。其次，研究团队引入了一种基于置信区间剪裁的方法，这种方法通过允许 CODE 忽略某些像素或信息来提高其有效性，从而以盲目方式增强了恢复过程。
主要功能：
- 处理和编辑OoD图像，即那些在训练数据分布之外的图像。
- 在不需要特定任务训练、手工制作模块或对图像损坏类型有假设的情况下增强图像。
主要特点：
- 高保真度：在图像编辑过程中保持对输入图像的高保真度。
- 无需特定训练：不需要针对特定类型的损坏进行训练或微调。
- 兼容性：与任何预训练的扩散模型兼容。
- 盲图像恢复：在完全不知道图像损坏类型的情况下进行图像恢复。
工作原理：
CODE方法使用扩散模型作为生成先验，通过基于概率流的普通微分方程（ODE）轨迹上的分数更新来增强图像。它采用以下步骤：
- 使用ODE求解器将损坏的图像编码到潜在空间。
- 在潜在空间中使用Langevin动力学进行梯度更新，以增加潜在表示的似然性。
- 应用基于置信区间的裁剪方法，允许在编辑过程中忽略某些像素或信息。
- 最后，使用ODE求解器将更新后的潜在表示映射回图像空间。
具体应用场景：
- 图像恢复：修复破损或退化的图像，如老旧照片的数字化修复。
- 图像编辑：根据文本描述或用户输入，对图像进行无缝编辑和内容创建。
- 艺术创作：结合人工智能生成的艺术作品，提供新的创意工具。
评论0