人像个性化框架UniPortrait：支持单人物（Single-ID）和多人物（Multi-ID）图像的定制化生成

阿里巴巴集团智能计算研究院推出人像个性化框架UniPortrait，支持单人物（Single-ID）和多人物（Multi-ID）图像的定制化生成。简单来说，UniPortrait能够根据用户提供的文本描述或已有的人物图像，生成具有高度身份保持性和多样化布局的人像图片。UniPortrait仅包含两个即插即用模块：身份嵌入模块和身份路由模块。身份嵌入模块通过解耦策略为每个身份提取多样化的可编辑脸部特征，并将其嵌入到扩散模型的上下文空间中。然后，身份路由模块会根据合成图像中的各个区域自适应地组合和分配这些嵌入，从而实现单个和多个身份的定制。通过精心设计的两阶段训练方案，UniPortrait在单人和多人身份定制方面都表现出优异的性能。

项目主页：https://aigcdesigngroup.github.io/UniPortrait-Page
GitHub：https://github.com/junjiehe96/UniPortrait
Demo：https://huggingface.co/spaces/Junjie96/UniPortrait

例如，一个用户想要生成一张具有复古漫画风格的两个女性形象的图片，他可以提供文本描述“两个女性，复古漫画风格，对称，生动”，UniPortrait将根据这个描述生成相应的图像。如果另一个用户想要生成一张特定人物在特定环境中的图像，比如“一个坐在桌子前、带着担忧表情看着电脑屏幕的男人”，UniPortrait同样可以根据这样的描述生成高度定制化的图像。

主要功能：

身份保持的风格迁移：能够在风格转换过程中保持人物面部特征的一致性。
文本到多人物图像个性化：根据文本描述生成包含多个人物的图像，同时保持每个人物的独特身份特征。
文本到单人物图像个性化：根据文本描述生成单个人物的图像，并确保图像中的人物身份与参考图像一致。

主要特点：

高保真面部编辑：UniPortrait提供了广泛的面部编辑功能，用户可以对生成的面部特征进行细致调整。
自由形式文本输入：用户可以输入自由形式的文本描述来指导图像的生成，无需遵循预设的格式。
多样化布局生成：框架能够生成具有不同布局的图像，增加了生成图像的多样性。

工作原理：

UniPortrait由两个主要模块组成：身份嵌入（ID embedding）模块和身份路由（ID routing）模块。身份嵌入模块通过解耦策略提取每个身份的可编辑面部特征，并将它们嵌入到扩散模型的上下文空间中。身份路由模块随后将这些嵌入自适应地组合并分配到合成图像中的相应区域，实现单个和多个身份的定制化。