来自慕尼黑工业大学的研究人员推出attribute-control，它能够对文本到图像（T2I）模型生成的图像中的特定属性进行精细控制。
开发团队发现，在常用的基于token的CLIP文本嵌入中，存在一些特定的方向，它们能够在文本到图像模型中实现对高级属性的精细主题特定控制。基于这一观察，他们提出了一种无需优化的高效方法和一种基于优化的稳健方法，以从对比文本提示中识别特定属性的这些方向。
例如，你描述了一个场景，比如“一个穿着红色衣服的女人站在桥上”，使用这项技术，你可以在不改变场景整体的情况下，单独调整这个女人的发型、年龄或者衣服的颜色，而不会对她周围的环境造成影响。
主要功能和特点：
- 精细控制：这项技术能够对图像中的特定对象（如人、车辆或家具）的特定属性进行精细调整，比如年龄、发型、衣着等。
- 无需额外成本：在生成图像的过程中，不需要额外的计算成本或修改现有的T2I模型。
- 无需固定参考图像：与需要参考图像的编辑方法不同，这项技术可以直接从文本提示中识别和修改对象属性。
- 连续控制：提供了连续的属性调整能力，而不是简单的开/关控制。
工作原理：
- 利用CLIP文本嵌入：这项技术基于CLIP文本嵌入，通过识别文本嵌入空间中的语义方向来控制特定属性。
- 优化方法：提出了两种方法来识别这些方向，一种是无需优化的简单方法，另一种是基于优化的稳健方法。
- 属性编辑：通过向文本提示中添加或修改特定的属性表达，可以在不影响其他对象的情况下，对特定对象进行编辑。
具体应用场景：
- 个性化图像生成：用户可以根据自己的喜好生成具有特定属性的个性化图像。
- 创意设计：设计师可以利用这项技术来快速调整设计草图中的元素属性，如改变家具的风格或调整人物的外观。
- 内容创作：内容创作者可以创建符合特定主题或情感要求的图像，例如为故事创作定制的角色或场景。
总的来说，这项技术为T2I模型提供了一种新的控制方式，使得用户能够在生成图像时更加灵活和精确地调整特定对象的属性，从而更好地满足个性化需求和创意表达。
评论0