瑞士联邦理工学院的研究人员推出一种个性化生成模型输出的方法ViPer，它可以让生成模型（比如用来生成图片的AI）根据个人的喜好来定制生成的内容。这是通过一次性捕捉用户的总体偏好，并在无需详细工程化提示的情况下对生成模型进行条件设置来实现的。请注意，对于同一提示，根据用户的视觉偏好，结果会有所不同。
- 项目主页：https://viper.epfl.ch
- GitHub：https://github.com/EPFL-VILAB/ViPer
- Demo：https://huggingface.co/spaces/EPFL-VILAB/ViPer
例如，你是一个喜欢复古风格的摄影师，你想让AI生成一些具有复古色调和质感的图片。你可以向ViPer展示一些你喜欢的复古风格图片，并告诉它你喜欢哪些元素，比如“暖色调”、“粗糙纹理”和“低对比度”。ViPer 会学习你的偏好，并生成新的图片，这些图片会包含你提到的这些特征，从而满足你的个性化需求。
主要功能
- 个性化图像生成：ViPer 能够根据用户的视觉偏好生成图片。这意味着不同的用户可以根据自己的喜好得到不同的图片，即使是对同一个提示（prompt）也是如此。
- 一次性偏好捕捉：用户只需通过评论一组图片来表达他们的喜好，ViPer 会捕捉这些偏好，并在未来的生成中使用这些信息。
主要特点
- 灵活性：用户可以通过简单的评论来表达他们的喜好，而不需要复杂的操作。
- 无需额外训练：ViPer 可以直接使用现有的生成模型，如 Stable Diffusion，而不需要对其进行额外的微调。
- 开放源代码：ViPer 的代码和模型权重是开源的，这意味着任何人都可以访问和使用它们。
工作原理
- 偏好捕捉：用户对一组图片进行评论，表达他们对每张图片的喜好。这些评论可以是自由形式的，不需要遵循特定的结构。
- 偏好结构化：ViPer 使用大型语言模型来分析这些评论，并从中提取出用户的视觉偏好，如颜色、风格、纹理等。
- 生成模型调整：将用户的视觉偏好编码到生成模型的提示中，从而引导模型生成符合用户偏好的图片。
具体应用场景
- 艺术创作：艺术家或设计师可以使用 ViPer 来生成符合他们风格的艺术作品。
- 图像编辑：用户可以使用 ViPer 来编辑现有的图片，使其更符合他们的个人风格。
- 风格迁移：可以将一种艺术风格应用到不同的图片上，创造出新的视觉作品。
- 生成训练数据：ViPer 可以用来生成具有特定视觉特征的训练数据，帮助训练其他AI模型。
评论0