纽约大学的研究人员推出创新方法ProCreate，旨在改善基于扩散的图像生成模型的样本多样性和创造性，并防止对训练数据的直接复制。简而言之，ProCreate能够在生成图像的过程中，确保新生成的图像既具有新颖性，又能够体现出参照图像集的灵感。ProCreate 在一组参考图像的基础上运行，在生成过程中积极地将生成的图像嵌入推向远离参考嵌入的方向。研究团队提出了 FSCG-8（Few-Shot Creative Generation 8），这是一个包含八个不同类别的少量样本创意生成数据集——涵盖了不同的概念、风格和场景——在这个数据集上，ProCreate 达到了最高的样本多样性和保真度。
- 项目主页：https://procreate-diffusion.github.io
- GitHub：https://github.com/Agentic-Learning-AI-Lab/procreate-diffusion-public
例如，一个设计师想要创造一系列新的服装图案，他们可以提供一些过去的时尚秀的图片作为参照。ProCreate将帮助设计师生成新的图案设计，这些设计既受到参照图片的启发，又不直接复制它们，从而创造出真正独特的作品。此外，ProCreate还能够确保生成的设计在视觉上与训练数据中的任何现有设计都有足够的差异，以避免潜在的版权问题。
主要功能：
- 提高样本多样性：ProCreate通过在生成过程中推动生成图像嵌入（embedding）远离参照图像集，从而增加了样本的多样性。
- 增强创造性：它帮助生成模型创造出既新颖又与参照图像集在概念上保持一致的图像。
- 防止数据复制：ProCreate还能够防止生成模型复制训练集中的图像，这在版权和隐私方面具有重要意义。
主要特点：
- 简单易实现：ProCreate方法易于集成到现有的扩散模型中。
- 少量样本生成：它在少量样本（few-shot）的情况下也能表现出色，这意味着即使只有少量的参照图像，ProCreate也能够生成多样化的图像。
- 动态参考集：ProCreate会将新生成的样本动态添加到参考集中，以进一步推动样本多样性。
工作原理：
ProCreate在生成图像的每个去噪步骤中，使用扩散模型预测一个清晰的图像，然后计算该图像与参照图像集中每个图像的距离，接着更新当前的噪声图像，使其在嵌入空间中远离最相似的参照图像。这个过程通过最大化生成图像与参照图像集之间的距离来实现。
具体应用场景：
- 艺术创作：艺术家可以使用ProCreate来获得灵感，创造出新颖的艺术作品，而不必担心作品与现有作品过于相似。
- 时尚设计：时尚设计师可以利用ProCreate来探索新的服装设计，这些设计既具有创新性，又能体现出某些特定的风格或概念。
- 个性化内容生成：用户可以根据自己的少量偏好图像，生成一系列个性化的图像内容。
评论0