AnyStory：用于文本到图像生成的统一单主体和多主体个性化框架，生成具有特定主体的高保真个性化图像

阿里巴巴通义实验室推出一个用于文本到图像生成的统一单主体和多主体个性化框架AnyStory，旨在生成具有特定主体的高保真个性化图像，无论是单个主体还是多个主体，都能在不牺牲主体保真度的情况下实现个性化。例如，根据文本描述“一个勇敢的探险家在雪山、丛林、雾林和沙漠中探险”，AnyStory能够生成一幅图像，其中探险家的细节被精确地保留下来，同时图像风格与文本描述高度一致。再比如，“两个男人在空中暂停，快速交换拳脚，最终达成相互尊重和理解”，AnyStory能够生成一幅图像，准确地表现出两个男人的动作和表情，同时保持他们的个性化特征。

• 项目主页：https://aigcdesigngroup.github.io/AnyStory

主要功能

1. 单主体和多主体个性化：AnyStory能够对单个主体和多个主体进行个性化生成，生成的图像能够精确地反映文本描述中的主体特征。
2. 文本描述对齐：生成的图像与文本描述高度一致，能够准确地表现出文本中提到的场景、动作和情感。
3. 主体细节保留：在生成图像时，AnyStory能够保留主体的细节特征，避免因语义泄露导致的主体特征融合问题。

主要特点

1. 高保真主体编码：通过结合ReferenceNet和CLIP视觉编码器，AnyStory能够实现对主体特征的高保真编码，保留更多的主体细节。
2. 解耦的实例感知路由模块：该模块能够准确地感知和预测主体在潜在空间中的位置，并引导主体条件的注入，避免主体特征之间的干扰。
3. 灵活性和可控性：AnyStory允许通过文本提示来变化主体的背景、姿势和视角，同时保持主体细节，从而创建复杂和奇幻的叙事。

工作原理

AnyStory的核心在于其独特的“编码-路由”架构，这一架构使得无论是处理单个还是多个主体时，都能确保主体细节的准确性和与文本描述的一致性。

1、编码步骤：

• ReferenceNet：作为一种通用图像编码器，ReferenceNet能够提取出高保真度的主体特征，确保了主体表示的详细性和准确性。
• CLIP视觉编码器：结合CLIP视觉编码器，进一步增强了主体特征的提取能力，保证了生成图像与文本描述之间的紧密联系。

2、路由步骤：

• 解耦且实例感知的主体路由器被用来预测潜在空间中的主体位置，并指导特定于主体条件的注入。这种方法不仅提高了灵活性，也确保了在处理复杂场景时的精确度。

实验表现及潜力

实验结果显示，AnyStory在保留复杂主体细节、遵循文本指令以及管理包含多个主体的图像方面表现出色。相比现有模型，AnyStory避免了主体保真度与图像质量之间的妥协，提供了更加个性化的解决方案。

然而，AnyStory目前面临一些局限性，比如背景一致性问题以及偶尔出现的“复制粘贴”效果。这些问题表明，在数据增强和改进生成模型方面仍有提升空间。阿里巴巴团队计划在未来版本中解决这些问题，以进一步提高AnyStory的表现。

具体应用场景

1. 故事可视化：根据给定的剧本生成视觉叙事，例如生成一系列连贯的图像来讲述一个故事。
2. 个性化图像生成：为特定的主体生成个性化的图像，例如为某个品牌生成符合其品牌形象的宣传图像。
3. 创意设计：为设计师提供创意灵感，生成具有特定风格和主题的图像，帮助他们快速实现设计概念。
4. 游戏和动画制作：生成游戏和动画中的角色和场景，提高制作效率和创意多样性。