基于二维高斯分布的图像表示方法Image-GS：通过自适应地分配和优化一组二维高斯分布来重建图像

纽约大学、英特尔和AMD的研究人员推出一种基于二维高斯分布的图像表示方法Image-GS，它通过自适应地分配和优化一组二维高斯分布来重建图像。这种方法旨在为图像和纹理提供一种高效、灵活且硬件友好的表示方式，特别适用于实时图形和低比特率场景。

• GitHub：https://github.com/NYU-ICL/image-gs

例如，对于一幅包含复杂纹理和非均匀分布特征的图像，Image-GS 可以通过调整高斯分布的位置、形状和颜色来高效地表示图像内容，同时在低内存预算下保留细节。

主要功能

• 图像压缩：在低比特率下实现高效的图像压缩，同时保持较高的视觉保真度。
• 纹理压缩：针对多通道纹理（如法线图、环境光遮蔽图等）进行压缩，适用于实时图形应用。
• 图像恢复：在压缩过程中同时去除图像噪声和压缩伪影，提升图像质量。
• 语义感知压缩：通过视觉显著性分析，优先保留图像中的重要语义内容，适用于机器视觉任务。

主要特点

• 内容自适应：根据图像内容动态分配高斯分布，优先处理高频区域，保留更多细节。
• 硬件友好：支持快速随机访问和并行解码，适合实时图形应用。
• 灵活的质量控制：通过逐步优化高斯分布，自然形成多级细节层次，支持灵活的质量调整。
• 低计算复杂度：解码单个像素仅需 0.3K MACs（乘累加运算），远低于其他神经图像表示方法。

工作原理

1. 图像表示：将图像表示为一组二维高斯分布，每个高斯分布由均值（位置）、协方差（形状）和颜色定义。
2. 可微渲染器：通过自定义的可微渲染器将高斯分布渲染为图像，支持高效的前向和反向传播。
3. 内容自适应初始化：根据图像梯度大小初始化高斯分布的位置，优先分配到高频区域。
4. 逐步优化：通过误差引导的逐步优化，动态添加高斯分布以改善重建质量，形成多级细节层次。

测试结果

• 图像压缩：在 0.366 bpp 的比特率下，Image-GS 实现了 32.99 dB 的 PSNR、0.966 的 MS-SSIM 和 0.083 的 LPIPS，优于其他神经图像表示方法。
• 纹理压缩：在 0.089 bppc 的比特率下，Image-GS 的 PSNR 达到 32.20 dB，与行业标准的 ASTC 算法相当，但支持更低的比特率。
• 系统性能：优化 10K 高斯分布 1K 步骤仅需 18.74 秒，渲染单个像素仅需 0.0037 秒，适合实时应用。
• 语义感知压缩：在视觉问答任务中，Image-GS 在 0.2 bpp 的极端比特率下，比 JPEG 更能保留语义信息，使机器视觉模型的输出更准确。