开源人像生成器InstantID:只需一张人脸照片,快速生成不同风格的人物照片

开源人像生成器InstantID今天在推特引发了热议,InstantID只需要一张人脸照片,就能快速生成多种风格的人物照片,无需复杂的训练或微调过程。InstantID还能与流行的图像扩散模型(如 SD1.5 和 SDXL)无缝集成,可以作为一个适应性强的插件。

与 IP-Adapter (IPA)、IP-Adapter-FaceID 和最新的 PhotoMaker相比,其中PhotoMaker需要训练UNet的LoRA参数。PhotoMaker和IP-Adapter-FaceID都能实现了良好的保真度,但文本控制能力有明显的下降。相比之下,InstantID 实现了更好的保真度并保留了良好的文本可编辑性(面部和风格融合得更好)。

InstantID 的主要方法:

InstantID旨在仅通过一个参考ID图像生成具有各种姿态或风格的定制化图像,同时确保高保真度。下图为我们的方法提供了概述。

它融合了三个关键组成部分:

  • 一个捕捉健壮的语义面部信息的ID嵌入;
  • 一个轻量级的适配模块,具有解耦的交叉注意力,便于将图像用作视觉提示;
  • 一个IdentityNet,它从参考面部图像中编码详细的特征,并具有额外的空间控制。

InstantID与之前的方法在以下方面有所不同:

  • 我们不训练UNet,因此可以保留原始文本到图像模型的生成能力,并与社区中现有的预训练模型和控制网兼容;
  • 我们不需要在测试时进行微调,因此对于特定的角色,无需收集多个图像进行微调,只需一次性推断单个图像;
  • 我们实现了更好的面部保真度,并保留了文本的可编辑性。

InstantID 的主要特点:

  1. 高保真度的个性化图像生成: 使用单张参考图像,InstantID 能够生成高质量的、保持个人特征的图像,适用于各种风格。
  2. 简化的操作流程: 与传统方法需要多张参考图像和复杂的微调过程不同,InstantID 只需一张图像,无需复杂的训练或微调过程。 能在几秒钟内生成图像。
  3. 兼容性强: 能够与当前社区中预训练的流行文本到图像模型(如 SD1.5 和 SDXL)无缝集成,作为一个通用插件。
  4. 面部保真度和文本编辑性: 相较于其他技术,InstantID 在保持面部特征的真实性和文本编辑能力方面表现更好。用户可以通过文本提示来编辑生成的图像,比如改变图像中人物的表情、背景或其他元素。 用户可以精确控制生成图像的细节,实现个性化定制。
  5. 多样化应用场景: 支持多种风格化和写实的图像生成,能够适应不同的视觉需求。
  6. 实用性和效率: 对于需要快速生成并保持个人身份特征的图像的实际应用场景,如数字艺术创作和个性化媒体内容制作,InstantID 显示出了出色的性能和高效率。
  7. 支持多重参考:该技术技术也允许使用多张参考图像来生成一个新图像。这意味着可以结合多个不同的图像特征或风格来创造一个新的图像。即使是用单张参考图像,InstantID 也能实现高质量的结果,但多张图像可以提供更多的信息和灵感,从而增强生成图像的丰富性和多样性。

如果使用InstantID?

一.官方Demo

以下是使用InstantID系统的步骤:

  1. 上传人物图像。如果图像中有多个人物,InstantID将只检测最大的脸。确保脸部不小且没有严重遮挡或模糊
  2. (可选)上传另一张人物图像作为参考姿势。如果没有上传,我们将使用第一张人物图像来提取特征点。如果您在第1步使用了裁剪的脸部,建议再次上传以提取新的姿势信息
  3. 像在SD绘画中一样输入提示词
  4. 点击提交按钮开始定制
  5. 与朋友分享您定制的照片,享受这个过程吧😊!

InstantID使用提示:

  1. 如果您对生成的图像与原图的相似度不满意,可以增加IdentityNet strength (for fedility)和Image adapter strength (for detail)的权重
  2. 如果生成的图像过于饱和,请降低adapter strength (for detail)。如果这不起作用,请降低IdentityNet strength (for fedility)
  3. 如果文本控制不符合预期,请降低adapter strength (for detail)权重
  4. 找到一个好的基础模型总是会有所不同
二.本地安装

目前Demo是架设在Hugging Face上,如果你想在本地使用,目前有两种方法:

  • Pinokio:Pinokio 是一款AI浏览器,可让您自动轻松地安装、运行和自动化任何 AI 应用程序和模型。
  • ComfyUI InstantID:专为ComfyUI运行InstantID打造的插件
Pinokio

根据自己的系统下载对应版本的Pinokio,如果是Windows平台,那么此程序是强制安装在C盘用户文件夹下,此程序+InstantID将占据至少26G硬盘空间。同时下载InstantID还需要网络环境才可以,如果你的网络环境和电脑配置不允许,就不要使用此种方法了。

下载安装软件后,根据下图所示,安装并启动InstantID

在本地运行InstantID,占用显存非常高,至少12GB显存的英伟达显卡+32G内存的电脑才能运行

使用方法与上面的Demo一致,目前在本人电脑在本地生成一张图片至少需要7分钟

ComfyUI

如何在ComfyUI上运行可查看:https://sd114.wiki/sd/comfyui/app/instantid

2024年2月4日更新:

InstantID已支持LCM + Multi-controlnet,只需 5 步即可实现超快速生成

使用 pose 进行骨架推理,使用 canny 进行边缘检测,使用 depth 进行深度图估计。您可以尝试这三种方法来控制生成过程

👇生成的效果

0

评论0

没有账号?注册  忘记密码?