ComfyUI-ShaderNoiseKSampler:高级自定义 KSampler 节点,将标准噪声生成与多阶段基于着色器的系统完美融合

插件6个月前发布 小马良
207 0

ComfyUI-ShaderNoiseKSampler 是一个高级自定义 KSampler 节点,它将标准噪声生成与多阶段基于着色器的系统完美融合。与传统采样方法在不同种子间随机跳转不同,这个工具为探索选定种子附近的区域提供了一个结构化的载体,通过数学模式在潜在空间中沿连贯路径导航。

提示:对于希望以更具意图的方式探索潜在空间的艺术家和研究人员来说,这是一个完美的选择。通过数学精确度塑造图像特征,实现独特的视觉风格,而有意探索而非随机发现是关键。使用固定种子是这种有意探索的核心,它允许你系统地研究围绕选定起点的变化。

重要说明Shader Noise KSampler 包含着色器显示并需要保存,而 Shader Noise KSampler(Direct) 不包含着色器显示且不需要保存。着色器显示将帮助你直观地理解参数控制,而(Direct)版本更适合创意构思并支持对输入值的更精细控制。

导航种子宇宙

想象一下,标准图像生成(尝试不同种子)就像从一个城镇开车到另一个城镇。每个新种子都会带你到一个完全不同的城镇。而 ShaderNoiseKSampler 的工作方式则完全不同。它就像选择一个你特别感兴趣的城镇(一个特定种子),然后停下来、下车,真正去探索这个特定城镇。你可以漫步在隐秘的小巷中,探访不同的社区,发现其中独特的细节和变化。

着色器噪声是你的地图,而着色器参数(如噪声尺度、八度、扭曲强度等)则是你深入本地探索的指南针:

🔍 噪声尺度:缩放控制——决定你在潜在空间中是“放大”还是“缩小”
🔬 八度:细节滑块——控制噪声模式的细节和复杂程度
🌀 扭曲强度:非线性导航器——在潜在空间中创建非线性路径
🔄 相位移位:视角转换器——揭示相同核心元素的不同“面貌”

核心创新在于将潜在空间视为一个需要探索的领域,而非一个靠运气的彩票。它将 AI 图像生成行为转变为由数学模式优雅语言引导的有意艺术发现之旅。

创新:可控噪声

传统采样器依赖纯随机性,而 ShaderNoiseKSampler 引入了范式转变:通过着色器技术(着色器噪声)生成的数学上可控噪声模式。这不仅是导航——它还发明了一种新的载体。

通过用结构化的着色器生成模式(着色器噪声)替代标准随机噪声分布,我们将扩散过程从随机游走转变为有意旅程。噪声本身成为一种你可以通过数学参数雕刻的艺术媒介:

  • 尺度、八度和扭曲创建精确的噪声地形
  • 变换和混合模式为你提供噪声“词汇”
  • 形状遮罩和配色方案提供空间和频率控制

这种可控噪声方法在程序化生成的确定性世界与扩散模型的概率特性之间架起了桥梁,提供创意控制而不牺牲生成 AI 的创造潜力。

着色器矩阵:深入文档

该项目的核心功能是 ShaderNoiseKSampler(及相关)节点上的“📊 显示着色器矩阵”按钮。点击此按钮会打开一个全面的、自包含的模态对话框——着色器矩阵,提供以下内容:

  • 所有着色器噪声类型、数学基础和参数的详细解释
  • 噪声模式和形状遮罩的交互式可视化
  • 噪声生成的 Python 代码示例
  • 节点的哲学和使用综合指南

本 README 提供了概述,但着色器矩阵是您深入研究的终极指南!

✨ 功能

🚀 高级 KSampler 替代:直接集成到你的工作流中作为 KSampler
🔬 多阶段着色器应用

  • 顺序阶段:在扩散过程的片段上应用着色器噪声
  • 注入阶段:在特定、离散步骤应用着色器噪声
    🎨 十二种着色器噪声原型:探索广泛的模式:
  • 张量场、细胞、域扭曲、分形(FBM)、Perlin、波形、高斯、异构 FBM、干涉、光谱、3D 投影、卷曲噪声
    🎭 复杂的混合与变换
  • 混合模式:使用乘法、加法、叠加、屏幕、柔光、硬光、差分等模式将着色器噪声与基础噪声结合
  • 噪声变换:在混合前对着色器噪声应用数学运算(绝对值、正弦、平方根等)
    💠 形状遮罩:使用几何叠加(径向、线性、网格、渐晕、螺旋、六边形网格等)空间调制噪声,可调整强度
    🌈 配色方案整合:在噪声影响扩散模型之前应用颜色变换(Inferno、Magma、Viridis、Jet、Turbo 等),微妙地引导结构和美学。可调整强度
    时间一致性
  • 为动画生成帧一致的演变噪声
  • 确保在调整参数时为静态图像提供一致的基础噪声,以实现可预测的探索
    🎛️ 细粒度控制
  • 全局 shader_strength 和每阶段强度调优
  • 为每个阶段调整 noise_scalenoise_octavesnoise_warp_strengthnoise_phase_shift
    💾 参数管理:保存你的着色器参数配置。(Direct)节点版本无需保存
    📊 “显示着色器矩阵”按钮:在 ComfyUI 内直接访问全面的交互式文档和可视化(Alt+M 快捷键)
    🤝 兼容性:支持多种模型,包括 SD 1.5、SDXL、Flux、WAN2.1、Hunyuan 等(见模型兼容性部分)
    🧠 潜在空间测绘:创建围绕你种子的领域地图,培养对如何导航到特定效果的直观理解
    🔄 变化中的持久身份:观察在参数调整中类似元素如何持续存在,揭示模型如何编码概念及其关系
    💎 发现“隐藏珍宝”:找到随机采样可能在统计上错过的种子之间的有趣变化
    🖼️ 高级图像比较器

ComfyUI-ShaderNoiseKSampler 现包含一个 AdvancedImageComparer 节点,这是一个多功能的实用工具,可在你的工作流中直接比较两张图像或批量图像。这对于评估不同参数、种子甚至不同模型产生的细微(或显著)差异非常宝贵。

功能

  • 多种比较模式:选择最佳的可视化差异方式:
    • 滑块:叠加图像并使用滑块显示其中一张
    • 点击:点击在两张图像间切换
    • 并排:将图像并排显示
    • 堆叠:将图像上下显示
    • 网格:以网格布局查看多对图像,适合批量比较
    • 轮播:逐一循环查看图像对
    • 批处理:以分页列表显示多对图像
    • 洋葱皮:以可调透明度叠加图像
  • 批处理:高效比较多组图像(图像 A1 vs 图像 B1,图像 A2 vs 图像 B2 等)
  • 交互式控制:在轮播和批处理模式中轻松导航图像对
  • 可定制布局:通过下拉菜单调整节点大小并选择首选布局模式
  • 独特 UI:节点标题栏采用独特的金色眼球设计,便于识别
  • 使用方法
    • 添加节点:在 ComfyUI 图中添加 Advanced Image Comparer 节点(位于 utils 类别)
    • 连接输入:
      • image_a:连接第一张图像或批量图像
      • image_b:连接第二张图像或批量图像
    • 选择模式:通过节点上的“布局模式”下拉菜单选择首选比较视图
    • 交互:
      • 滑块模式:将鼠标悬停在图像上并左右移动
      • 点击模式:点击图像在 A 和 B 间切换
      • 轮播/批处理模式:使用提供的 UI 控件(按钮、图像对选择器)导航
      • 洋葱皮模式:调整“透明度 B”滑块控制第二张图像的透明度

此工具旨在增强你的 A/B 测试和迭代优化过程,使你更容易观察创意选择的影响。

安装

使用 ComfyUI 管理器

  1. 如果尚未安装,请先安装 ComfyUI Manager
  2. 打开 ComfyUI,进入 Manager 标签。
  3. 点击 Install Custom Nodes
  4. 搜索“ComfyUI-ShaderNoiseKSampler”并点击 Install
  5. 重启 ComfyUI。

使用方法

  1. 添加节点:在 ComfyUI 图中添加 ShaderNoiseKSampler 节点。
  2. 连接输入
    • model:你的主要 AI 模型
    • positivenegative:你的条件提示
    • latent_image:输入潜在图像(例如,来自 Empty Latent Image 节点)
  3. 基本采样参数
    • 设置 seedstepscfgsampler_nameschedulerdenoise,如同标准 KSampler。
    • 建议在希望探索特定种子附近时使用固定的 seed 编号。这允许着色器噪声参数从一致的起点连贯地导航潜在空间。
  4. 配置着色器噪声:这里是探索的开始!
    • 阶段:定义 sequential_stagesinjection_stages
    • 全局控制:设置 shader_strength(0.0 禁用着色器)、blend_modenoise_transform
    • 每阶段控制:为每个阶段配置:
      • shader_noise_type(例如,perlin、cellular)
      • noise_scale(缩放控制)、noise_octaves(细节级别)、noise_warp_strength(非线性导航)、noise_phase_shift(视角移位)
      • shape_mask_typeshape_mask_strength
      • color_schemecolor_intensity
      • 特定阶段的 strength_multiplier
    • 时间一致性:为动画或一致性探索启用 use_temporal_coherence
  5. 探索:使用“📊 显示着色器矩阵”按钮(或 Alt+M)更好地理解你创建的噪声模式。
  6. 生成:排队你的提示,体验着色器引导的生成!

提示

从低 shader_strength(例如 0.1-0.3)和单一 sequential_stage 开始,以了解不同噪声类型和参数的影响。记住使用固定 seed 进行邻域探索。随着你更熟悉每个参数如何导航潜在空间,逐渐增加复杂性。

🧠 潜在空间导航

与随机种子探索不同,ShaderNoiseKSampler 提供了一种系统化的潜在空间导航方式:

  • 创意控制与偶然性:在有意引导和意外发现之间找到平衡。你不是精确控制输出,但也不完全受随机性支配——你在可能性空间中掌舵。
  • 频率域探索:该工具的数学特性允许你探索不同频率模式如何映射到生成图像中的语义特征,揭示模型编码视觉信息的根本模式。
  • 系统化发现:通过实验不同参数组合,你将培养对它们如何影响输出的直观理解,从而实现更有意图的创意选择。
  • 细粒度控制:你可以引入从几乎不可察觉的细微变化到更显著变换的广泛变化。这为你提供了选择所需变化程度的灵活性,同时保留图像的核心意义、运动和可识别对象(语义元素)。

⚙️ 配置选项

ShaderNoiseKSampler 提供广泛的控制。以下列出关键参数及其导航意义。有关详尽列表和解释,请参阅 ComfyUI 内的“📊 显示着色器矩阵”文档。

选项描述与导航意义默认值(示例)
seed用于可重现性的主种子。这是潜在空间宇宙中的你的“城镇”。使用固定种子进行探索。8888
steps采样迭代次数。20
cfg无分类器指导尺度。7.0
sampler_name例如,euler_ancestraldpm_2_ancestraleuler_ancestral
scheduler例如,normalbetasimplebeta
denoise去噪强度。1.0
sequential_stages顺序应用的着色器阶段数。1
injection_stages在特定步骤注入的着色器阶段数。0
shader_strength着色器噪声影响的全局强度(0.0 禁用)。0.3
blend_mode着色器噪声与基础噪声的结合方式(例如,multiplyadd)。multiply
noise_transform对着色器噪声的数学运算(例如,noneabsolutesin)。none
use_temporal_coherence为动画或一致性探索提供一致噪声。false
shader_noise_type (每阶段)基础模式(例如,domain_warptensor_fieldcurl_noise)。domain_warp
noise_scale (每阶段)“缩放控制” - 决定在潜在空间中是“放大”还是“缩小”。1.0
noise_octaves (每阶段)“细节滑块” - 控制噪声模式的细节和复杂程度。1
noise_warp_strength (每阶段)“非线性导航器” - 在潜在空间中创建非线性路径。0.5
noise_phase_shift (每阶段)“视角转换器” - 揭示相同核心元素的不同“面貌”。0.5
shape_mask_type (每阶段)几何遮罩叠加(例如,radialgrid)。none
shape_mask_strength (每阶段)形状遮罩的强度。0.5
color_scheme (每阶段)噪声的颜色映射(例如,viridisjet)。none
color_intensity (每阶段)配色方案影响的强度。0.8

采样器与调度器兼容性

通常,ShaderNoiseKSampler 旨在实现广泛兼容性。以下是推荐的起点(更多详情请参阅着色器矩阵):

  • 推荐采样器euler_ancestraldpm_2_ancestraldpmppm_2_ancestrallcm
  • 推荐调度器beta(通常优先)、normalsimplekl_optimal

🧱 模型兼容性

ShaderNoiseKSampler 与多种模型兼容。兼容性通常取决于模型的潜在通道结构。节点尝试自动检测许多常见模型的通道数。

模型家族/名称类别状态通道数(预期)备注
SD 1.5 / SD_X4图像兼容4标准 4 通道模型。
SDXL / SDXL Refiner图像兼容4标准 4 通道模型。
Stable Cascade B图像兼容4之前称为“Stable Cascade(解码器/非优先)”。
Stable Cascade (Prior)图像兼容16更高通道数。
SD3图像兼容16更高通道数。
Flux.1 / Flux图像兼容16更高通道数。
HunyuanDiT图像兼容4标准 4 通道模型,类似 SD1.5/SDXL。
Chroma图像兼容4基于相关模型假设为 4 通道变分自编码器。
HiDream / Flow图像兼容16更高通道数。
WAN / Warp / Pixel / Anime (WAN2.1)视频(3D)兼容16更高通道数。
Mochi视频(3D)兼容12可能需要特定处理。
LTXV视频(3D)兼容128极高通道数。可能需要特殊配置或特定噪声处理。
CosmosVideo / Cosmos1CV8x8x8视频(3D)兼容16通道数已确认。
HunyuanVideo视频(3D)兼容16官方文档提到 16x 变分自编码器通道压缩。噪声的有效通道可能不同或需要特定处理。
AnimateDiff (on SD 1.5)视频(3D)兼容4使用基础 SD 1.5 模型的 4 通道。
Stable Video Diffusion (SVD)视频(3D)兼容4潜在扩散模型,可能是 4 通道。
ACEStep / ACE音频(1D)兼容8与 2D 噪声的兼容性可能不同。
StableAudio1音频(1D)未测试64与 2D 噪声的兼容性不确定。
Hunyuan3Dv23D 模型未测试641D 通道。与 2D 噪声的兼容性不确定。
Hunyuan3Dv2mini3D 模型未测试641D 通道。与 2D 噪声的兼容性不确定。
其他模型
通用 4 通道模型图像默认兼容4大多数其他标准扩散模型。
通道数 >16 的模型(未列出)各种未测试/可能需要配置变化通道数极高的模型可能需要特定配置或表现出不同性能特性。
其他非标准架构各种未测试变化结果可能不同。

通道检测说明ShaderNoiseKSampler 包含逻辑以推断模型通道数(见 shader_noise_ksampler.py 中的 get_model_channel_count)。如果你遇到新或未测试模型的问题,了解其潜在通道结构很重要。对于通道数极高的模型,性能或兼容性可能不同,特定的噪声生成方法可能更适合。

🔬 着色器噪声深入探讨(简要概述)

ShaderNoiseKSampler 的真正深度在于其组件。着色器矩阵对此进行了广泛覆盖。

  • 着色器噪声类型:从三种强大的免费噪声原型开始你的探索:Domain Warp 用于复杂、流动的扭曲,Tensor Field 用于结构化和定向模式,Curl Noise 用于平滑、流动的动态。每种原型提供一个独特的视觉镜头 🔭 用于导航潜在空间。✨ 更多高级噪声类型可通过 Ko-fi 向支持者提供。
  • 混合模式:决定制作的着色器噪声如何与基础噪声交互。Multiply 可创造深度,Add 可引入高光,Overlay 可增强对比度。
  • 噪声变换:在混合前对原始着色器噪声应用数学函数,如 absolute(创建脊线)、sin(创建带状)、sqrt(压缩高光),显著改变其特性。
  • 形状遮罩:将几何形式强加于噪声。radial 遮罩可创建焦点,grid 可引入块状结构。强度是关键。
  • 配色方案:不仅仅是噪声预览的视觉效果,这些方案(viridisinfernojet 等)会转换噪声数据本身。这种“着色”噪声随后可以以独特的方式引导扩散模型,影响纹理、特征和氛围,通过改变模型“感知”噪声结构的方式。

❓ 故障排除

  • 着色器效果不可见
    • 确保 shader_strength 大于 0.0
  • 意外结果:小的参数变化有时可能导致大的视觉变化。在生成前使用着色器可视化器了解噪声。鼓励实验。
  • 查阅着色器矩阵:应用内文档是您进行详细故障排除和理解的最佳助手。

已知问题

  • 最佳使用场景ShaderNoiseKSampler 目前在文本到视频和文本到图像生成中表现出最强大的能力。在图像到视频或视频到视频工作流中的性能可能不那么显著。
  • 非直接 KSampler 的参数排队:标准(非直接)ShaderNoiseKSampler 节点不支持连续运行的不同参数集排队,即你无法覆盖旧参数,因为它们在运行时读取。对于快速迭代和实验不同参数而无需保存每个配置,建议使用 ShaderNoiseSampler (direct) 变体。

警告

  • 视觉不稳定的潜在风险:某些参数探索,特别是在高强度或复杂交互下,可能导致视觉上具有破坏性的输出,如闪烁图像或强烈伪影。建议用户谨慎迭代。

🌱 草根研究与开发特性

ComfyUI-ShaderNoiseKSampler 源自专注的个人研究与探索。虽然它引入了探索潜在空间的激动人心的方式,但请将其视为一个活跃的探索项目。这意味着随着项目的演进,还有巨大的改进、新发现和社区驱动增强的潜力。感谢您理解其当前研究驱动阶段!

🗺️ 路线图:下一阶段演进

引导潜在空间探索的旅程才刚刚开始。以下是未来展望:

领域重点涉及技术(示例)
🌌 高级潜在空间测绘将当前研究发展为直观的“视觉意图引擎”。该系统将允许用户以语义方式表达期望的视觉结果(例如,“增强织物纹理”,“改变光线氛围”)。引擎将智能地将这些意图转化为最佳着色器参数配置,通过深入映射参数与视觉影响的相互作用,促进更直接和表达性的艺术工作流。语义 AI,参数响应建模,机器学习
🎨 扩展着色器噪声调色板引入更丰富的着色器噪声类型词汇,每种类型具有独特的导航属性和美学指纹。探索纹理复杂性、流动动态和结构组织的新维度。高级噪声算法,GLSL 概念
🧭 精确导航工具创建更细粒度和可预测的工具来操纵潜在路径。研究数学噪声结构与新兴视觉特征的直接相关性,以实现更大的艺术意图。数学建模,潜在空间分析
🔮 跨模态探索研究将结构化噪声原则应用于 2D 图像以外的模态,如 3D 和音频,开启创意探索的新途径。信号处理,音频/3D 生成模型
© 版权声明

相关文章

暂无评论

none
暂无评论...