开源人像生成器InstantID：只需一张人脸照片，快速生成不同风格的人物照片

开源人像生成器InstantID今天在推特引发了热议，InstantID只需要一张人脸照片，就能快速生成多种风格的人物照片，无需复杂的训练或微调过程。InstantID还能与流行的图像扩散模型（如 SD1.5 和 SDXL）无缝集成，可以作为一个适应性强的插件。

与 IP-Adapter (IPA)、IP-Adapter-FaceID 和最新的 PhotoMaker相比，其中PhotoMaker需要训练UNet的LoRA参数。PhotoMaker和IP-Adapter-FaceID都能实现了良好的保真度，但文本控制能力有明显的下降。相比之下，InstantID 实现了更好的保真度并保留了良好的文本可编辑性（面部和风格融合得更好）。

项目主页：https://instantid.github.io
GitHub：https://github.com/InstantID/InstantID
Demo：https://huggingface.co/spaces/InstantX/InstantID

InstantID 的主要方法：

InstantID旨在仅通过一个参考ID图像生成具有各种姿态或风格的定制化图像，同时确保高保真度。下图为我们的方法提供了概述。

它融合了三个关键组成部分：

一个捕捉健壮的语义面部信息的ID嵌入；
一个轻量级的适配模块，具有解耦的交叉注意力，便于将图像用作视觉提示；
一个IdentityNet，它从参考面部图像中编码详细的特征，并具有额外的空间控制。

InstantID与之前的方法在以下方面有所不同：

我们不训练UNet，因此可以保留原始文本到图像模型的生成能力，并与社区中现有的预训练模型和控制网兼容；
我们不需要在测试时进行微调，因此对于特定的角色，无需收集多个图像进行微调，只需一次性推断单个图像；
我们实现了更好的面部保真度，并保留了文本的可编辑性。

InstantID 的主要特点：

高保真度的个性化图像生成：使用单张参考图像，InstantID 能够生成高质量的、保持个人特征的图像，适用于各种风格。
简化的操作流程：与传统方法需要多张参考图像和复杂的微调过程不同，InstantID 只需一张图像，无需复杂的训练或微调过程。能在几秒钟内生成图像。
兼容性强：能够与当前社区中预训练的流行文本到图像模型（如 SD1.5 和 SDXL）无缝集成，作为一个通用插件。
面部保真度和文本编辑性：相较于其他技术，InstantID 在保持面部特征的真实性和文本编辑能力方面表现更好。用户可以通过文本提示来编辑生成的图像，比如改变图像中人物的表情、背景或其他元素。用户可以精确控制生成图像的细节，实现个性化定制。
多样化应用场景：支持多种风格化和写实的图像生成，能够适应不同的视觉需求。
实用性和效率：对于需要快速生成并保持个人身份特征的图像的实际应用场景，如数字艺术创作和个性化媒体内容制作，InstantID 显示出了出色的性能和高效率。
支持多重参考：该技术技术也允许使用多张参考图像来生成一个新图像。这意味着可以结合多个不同的图像特征或风格来创造一个新的图像。即使是用单张参考图像，InstantID 也能实现高质量的结果，但多张图像可以提供更多的信息和灵感，从而增强生成图像的丰富性和多样性。

如果使用InstantID？

一.官方Demo

官方Demo

以下是使用InstantID系统的步骤：

上传人物图像。如果图像中有多个人物，InstantID将只检测最大的脸。确保脸部不小且没有严重遮挡或模糊
（可选）上传另一张人物图像作为参考姿势。如果没有上传，我们将使用第一张人物图像来提取特征点。如果您在第1步使用了裁剪的脸部，建议再次上传以提取新的姿势信息
像在SD绘画中一样输入提示词
点击提交按钮开始定制
与朋友分享您定制的照片，享受这个过程吧😊！

InstantID使用提示：

如果您对生成的图像与原图的相似度不满意，可以增加IdentityNet strength (for fedility)和Image adapter strength (for detail)的权重
如果生成的图像过于饱和，请降低adapter strength (for detail)。如果这不起作用，请降低IdentityNet strength (for fedility)
如果文本控制不符合预期，请降低adapter strength (for detail)权重
找到一个好的基础模型总是会有所不同