罗格斯大学、麻省理工学院-IBM Watson AI 实验室、谷歌 DeepMind、NEC 美国实验室、纽约大学、 沃尔玛全球科技公司、澳大利亚国立大学和 麻省理工学院阿灵顿分校的研究人员推出图像编辑新方法DICE，它用于改进离散扩散模型在可控编辑任务中的性能。离散扩散模型在图像生成和遮蔽语言建模等任务中已经取得了成功，但在精确控制内容编辑方面存在局限性。DICE方法允许对这些模型进行精确的反转操作，从而实现对离散数据的精确重建和灵活编辑。
- 项目主页：https://hexiaoxiao-cs.github.io/DICE
- GitHub：https://github.com/hexiaoxiao-cs/DICE
DICE是第一种能够为离散扩散模型实现精确反转的方法，包括多项式扩散和掩码生成模型。通过在反向扩散过程中记录噪声序列和掩码模式，DICE能够在不需要预定义掩码或注意力操作的情况下，实现离散数据的准确重建和灵活编辑。研究团队在图像和文本领域展示了DICE的有效性，并在VQ-Diffusion、Paella和RoBERTa等模型上进行了评估。结果表明，DICE在保持高数据保真度的同时增强了编辑能力，为离散空间中的细粒度内容操作提供了新的机会。
例如，你有一张图片，想通过编辑将其中的猫变成狗，同时保持图片的其他部分不变。传统的离散扩散模型可能无法精确地做到这一点，因为它在编辑过程中缺乏对特定区域的精细控制。而DICE方法能够记录下将数据从原始状态逐渐引入噪声的过程，这样就可以在不改变图片其他部分的前提下，精确地将猫替换为狗。
主要功能：
- 精确重建：DICE能够准确地重建原始输入数据，即使这些数据经过了离散扩散过程。
- 灵活编辑：它允许用户在不预定义遮蔽区域或操作注意力图的情况下，对数据进行精细的编辑。
主要特点：
- 记录噪声序列：DICE在逆向扩散过程中记录噪声序列和遮蔽模式，这些信息可以用来精确地重建或编辑数据。
- 无需预定义遮蔽：传统的编辑方法需要预先定义哪些区域需要编辑，DICE则不需要这一步，提供了更大的灵活性。
- 适用于多种模型：DICE不仅适用于多变量扩散模型，还适用于遮蔽生成模型，如RoBERTa。
工作原理：
DICE通过记录在逆向扩散过程中所需的噪声序列来实现。具体来说，它首先生成一个包含低相关性的潜在状态的人工轨迹，然后在这个轨迹上拟合反向采样步骤，并保存目标和预测之间的残差。这个过程中，原始输入数据的信息被记录在残差中。在编辑或推理时，这些记录的残差被加回去，允许我们控制引入到推理过程中的信息量。
具体应用场景：
- 图像编辑：用户可以对图片进行精确的编辑，如改变图片中某个物体的种类，而不会影响图片的其他部分。
- 文本编辑：在文本领域，DICE可以用来改变句子的情感色彩，例如将负面评论转化为正面评论，同时保持句子结构不变。
- 数据修复：在数据损坏或缺失的情况下，DICE可以用来重建原始数据，如修复旧照片或恢复损坏的文本文档。
- 艺术创作：艺术家和设计师可以利用DICE在保持原始作品风格和结构的同时，进行创新性的修改和再创作。
总的来说，DICE为离散数据的精确编辑提供了一种新的手段，它通过记录和利用噪声序列，使得在不需要预定义遮蔽或操作注意力图的情况下，也能实现对数据的精细控制和编辑。
评论0