卡内基梅隆大学和DatalogyAI的研究人员发布论文探讨扩散模型（diffusion models）中“幻觉”（hallucinations）现象，即模型生成了一些在训练数据中从未出现过的样本。这种现象在生成模型中尤为引人注目，因为它可能导致模型产生不真实或不符合现实的数据。通过一系列实验，展示了如何通过检测生成样本的轨迹方差来减少幻觉现象，并在MNIST和2D高斯数据集上进行了递归训练的实验，证明了这种方法的有效性。
- GitHub：https://github.com/locuslab/diffusion-model-hallucination
- 论文：https://arxiv.org/abs/2406.09358
例如，你有一个能够创造出新奇图片的魔法相机。通常情况下，它能够基于它之前见过的图片来创造新的图片。但有时候，这个相机会创造出一些奇怪的图片，比如一个有六个手指的人，或者一个同时出现两个相同形状的图像，即使在它之前看过的所有图片中都没有这样的场景。这种创造出不真实图像的能力，就像人们在做梦时产生的幻觉一样，这就是这篇论文想要研究的问题。
主要功能：
- 研究和理解扩散模型中的“幻觉”现象。
- 提供一种方法来检测和减少生成模型中的幻觉现象。
主要特点：
- 通过简化的1D和2D高斯模型来研究幻觉现象。
- 提出一种基于生成样本在逆扩散过程中的轨迹方差的度量方法，以识别幻觉样本。
- 展示了在递归训练（即模型迭代地在自己的输出上进行训练）中，如何使用这种度量方法来减缓模型崩溃。
工作原理：
扩散模型通过两个过程来生成数据：正向过程（逐步向数据中添加噪声）和逆向过程（学习如何去除噪声，从而恢复数据）。在这篇论文中，作者发现扩散模型在逆向过程中会在不同的数据模式之间“平滑地插值”，从而生成一些在原始训练分布中完全不支持的样本。这种现象被称为“模式插值”（mode interpolation）。为了检测幻觉，作者利用了生成样本在逆扩散过程中的轨迹方差，因为幻觉样本在生成过程中的预测值会有很高的方差。
具体应用场景：
- 图像生成和编辑：在图像生成任务中，比如创造新的艺术作品或进行数据增强，减少幻觉现象可以帮助生成更真实、更符合现实世界图像的数据。
- 视频生成：在视频生成领域，理解并减少幻觉现象可以提高视频的真实性和连贯性。
- 数据增强：在训练机器学习模型时，使用扩散模型进行数据增强时，减少幻觉现象可以提供更高质量的训练样本。
- 递归训练：在递归训练设置中，通过过滤掉幻觉样本，可以防止模型在迭代训练过程中的性能下降。
评论0