香港科技大学（广州）、 华为诺亚方舟实验室、马克斯普朗克信息研究所和香港科技大学的研究人员推出一种新型超高分辨率图像生成方法UltraPixel，此方法是以Stability AI的模型Stable Cascade为基础，能够生成具有极高清晰度和丰富细节的图像，分辨率可以从1K（1024×1024像素）一直到6K（比如4096×4096像素）。这对于需要高分辨率图像的专业领域，如数字艺术、广告设计、电影制作等，是非常有价值的。
- 项目主页：https://jingjingrenabc.github.io/ultrapixel
- GitHub：https://github.com/catcathh/ultrapixel
- ComfyUI插件：https://github.com/2kpr/ComfyUI-UltraPixel
UltraPixel应用了级联扩散模型（Stable Cascade），在单一模型内部高效生成从1K至6K多种分辨率的高品质图像。UltraPixel创新性地在后期降噪步骤中，运用低分辨率图像的富含语义表达引导高度细节化的高分辨率图像完整生成过程，有效降低了处理的复杂性。另外，研究人员融入了隐式神经表示法来支持连续的放大操作，并设计了能适应多种分辨率的尺度感知归一化层。重要的是，无论是低分辨率还是高分辨率的处理环节，均在极为精简的空间内完成，大部分参数得以共用，仅对高分辨率输出增加不到3%的额外参数，极大增强了训练与推断的效率。该模型能够在减少数据需求的前提下快速训练，生成逼真的超高清图像，在广泛的实验中彰显出业界领先的表现。
例如，你是一位数字艺术家，需要创作一幅非常精细的画作，细节到每一根头发丝和衣物的纹理都要清晰可见。传统的图像生成方法可能无法满足这种高要求，但UltraPixel可以。它就像一个超级放大镜，不仅能够放大图像，还能确保放大后的图像细节丰富、清晰自然。
主要功能：
- 多分辨率图像生成：能够在同一个模型中生成从1K到6K不同分辨率的高质量图像。
- 计算效率：尽管生成的是超高分辨率图像，但UltraPixel在计算上非常高效，这使得它在实际应用中更为实用。
主要特点：
- 级联扩散模型：UltraPixel利用级联扩散模型来生成图像，这种方法可以有效地处理复杂的语义规划和细节合成。
- 隐式神经表示：引入了隐式神经表示来进行连续的上采样，使得低分辨率图像的语义信息能够引导高分辨率图像的生成。
- 尺度感知归一化层：能够适应不同分辨率的图像，确保生成的图像在不同尺度下都有良好的表现。
工作原理：
- 低分辨率引导生成：首先生成一个低分辨率的图像，并从中提取语义和结构信息作为引导。
- 连续上采样：利用隐式神经表示将低分辨率图像的特征上采样到高分辨率，确保语义信息的连续性。
- 高分辨率潜在生成：在紧凑的空间中生成高分辨率的潜在图像，并通过级联解码和变分自编码器（VAE）解码过程生成最终图像。
具体应用场景：
- 数字艺术创作：艺术家可以使用UltraPixel生成高分辨率的艺术作品，细节丰富，视觉效果震撼。
- 广告和市场营销：在需要高质量图像的广告设计中，UltraPixel可以提供清晰、吸引人的视觉内容。
- 电影和游戏制作：在电影的视觉效果制作或游戏中的高分辨率环境渲染中，UltraPixel可以生成所需的高质量图像。
- 个性化内容生成：用户可以根据自己的需求，定制生成具有特定风格或特征的高分辨率图像。
评论0