NovelAI 正式公开了其基于SD1.5的第二代图像生成模型 NovelAI Diffusion V2

NovelAI 正式公开了其第二代图像生成模型 NovelAI Diffusion V2 的权重文件，供研究、个人使用及历史保存。这一举动意味着即使该模型在 NovelAI 官网停止服务后，用户仍可通过本地部署继续使用它。

• 模型：https://huggingface.co/NovelAI/nai-anime-v2

此次开源的模型基于 Stable Diffusion 1.5 架构，并针对动漫风格进行了深度优化，是目前最受欢迎的二次元图像生成模型之一。

技术亮点解析

✅ 使用 CLIP 倒数第二层输出训练

NovelAI Diffusion V2 在训练时使用的是 CLIP 文本编码器的倒数第二层输出。因此，在使用该模型进行推理时，请务必将你的图像生成工具（如 WebUI）设置为：

CLIP skip = 2

这能确保文本嵌入与模型训练方式一致，从而获得最佳生成效果。

✅ 支持高分辨率输出

这是 NovelAI 首个无需依赖 SMEA（放大算法）即可稳定生成 1024×1024 分辨率图像的模型。推荐使用的分辨率包括：

• 832 × 1216（竖版）
• 1024 × 1024（正方形）
• 1216 × 832（横版）

这些尺寸经过宽高比优化，能有效减少边缘模糊和构图失真问题。

📦 模型组成说明

本次发布的权重仅包含以下组件：

• UNet（用于图像生成的核心网络）
• VAE（变分自编码器）

如需其他组件（如 CLIP 编码器），可从原始 Stable Diffusion 1.4 中复制至相应目录。

此外，项目还提供了经典 ckpt 格式的检查点文件，方便快速部署，但尚未验证其完整性。

📄 许可协议说明

NovelAI Diffusion V2 采用双许可方式发布：

1. CreativeML Open RAIL-M
   • 允许非商业用途下的使用、修改和再分发
   • 禁止用于生产环境或商业化服务
2. CC BY-NC-SA 4.0
   • 非商业用途自由使用
   • 必须署名并以相同许可条款分享衍生作品

这意味着你可以在遵守许可的前提下，自由地研究、测试和改进该模型。

⚠️ 注意事项

• 该模型已较为老旧，建议用于研究或怀旧用途。
• 如果你希望体验更先进的动漫和兽人风格生成效果，推荐访问 NovelAI 官方网站，尝试 NovelAI Diffusion V4.5。
• 所有后续新模型均为 NovelAI 专有技术，不再开源，仅可在其官网使用。