Pinkstack 发布 LiliPixel-V1:轻量级开源像素艺术扩散模型,支持 16×16 至 64×64 原生分辨率生成

图像模型3小时前发布 小马良
3 0

LiliPixel-V1 是由 Pinkstack 推出的一个从零开始训练的开源权重文本到像素艺术扩散 Transformer(DiT)模型。该模型专为生成复古风格的像素精灵(Sprites)和场景而设计,支持 16×16、32×32 和 64×64 三种原生分辨率。

  • 模型:https://huggingface.co/Pinkstack/LiliPixel-V1-190M

凭借仅 1.91 亿 可训练参数和约 1GB 的 BF16 推理内存占用,LiliPixel-V1 能够在包括 CPU 在内的低配硬件上实现近乎实时的图像生成,是游戏开发者、像素艺术爱好者及独立创作者的理想工具。

Pinkstack 发布 LiliPixel-V1:轻量级开源像素艺术扩散模型,支持 16x16 至 64x64 原生分辨率生成

核心亮点

  • 🎨 原生像素分辨率:直接生成 16×16、32×32 或 64×64 的像素图像,无需后期缩放或模糊处理,保持像素边缘锐利。
  • ⚡ 极致轻量与高效:基于单流 DiT 架构,参数量极小,推理速度快,内存需求低至 1GB,适合批量生成与快速迭代。
  • 🖼️ 透明背景支持:16×16 和 32×32 模式原生支持 RGBA 输出,可直接生成带透明通道的游戏精灵;64×64 模式则专注于不透明场景或真实感照片风格。
  • 🧠 智能文本编码:使用冻结的 MongoDB/voyage-4-nano 编码器(自动下载),将文本提示投影到模型空间,支持 CFG 引导以增强控制力。

模型规格与细节

特性规格
架构扩散 Transformer (DiT),24 层 / 768 宽度 / 16 头
参数量1.91 亿可训练参数
分辨率16×16, 32×32, 64×64 (RGBA 或 RGB)
补丁大小16/32px 为 1×1, 64px 为 2×2
采样器Euler, 30步 (16/32px) / 50步 (64px), CFG 3.0
内存占用~1GB (BF16)

提示词指南

为了获得最佳效果,请遵循以下提示策略:

  • 16×16 / 32×32 精灵:
    • 描述对象并务必以 , transparent background 结尾。
    • 示例:a red apple, transparent background
    • 注意:此模式下背景始终透明。
  • 64×64 场景:
    • 描述主体、动作及背景颜色。
    • 示例:a green turtle swimming above a coral reef on deep ocean background
    • 真实感模式:在提示前添加 "realistic photo," 可启用更写实的渲染风格。
    • 注意:此模式下输出为不透明 RGB 图像。
  • 通用建议:保持提示简短简单(不超过 96 token),避免复杂场景或多主体堆叠。

ComfyUI 集成

LiliPixel-V1 提供了专门的 ComfyUI 自定义节点支持:

  1. 安装节点:将 ComfyUI_LiliPixel.py 下载至 ComfyUI/custom_nodes/。
  2. 安装依赖:
    pip install -U diffusers "transformers>=4.56" accelerate
    
  3. 加载工作流:重启 ComfyUI,将 LiliPixel_V1.json 拖入画布即可使用。
  4. 首次运行:会自动下载模型权重及文本编码器。

使用技巧与限制

  • 批量生成:由于模型较小且存在一定随机性,建议一次性生成 4-16 张 图像并从中挑选最佳结果。
  • 复杂度限制:
    • 16×16:建议单主体。
    • 32×32:建议不超过 3 个主体。
    • 64×64:复杂场景可能出现不连贯,建议增加批量数以筛选高质量输出。
  • 无文本生成能力:模型未针对生成图像内文字进行训练。
  • 特定对象命名:避免使用小众品牌名(如 “Blahaj”),改用描述性词汇(如 “Cute light blue colored shark plushy”)。

LiliPixel-V1 以其极简的资源需求和专有的像素美学,为像素艺术创作开辟了一条高效、低成本的新路径。无论是用于游戏开发中的素材快速原型制作,还是作为数字艺术创作的灵感来源,它都展现出了巨大的潜力。

© 版权声明

相关文章