StateSMix 

在数据爆炸的时代，压缩效率至关重要。传统的压缩算法（如 gzip, xz）已接近瓶颈，而基于大型神经网络（如 LLaMA, Transformer）的压缩器虽然精度高，却依赖昂贵的 GPU 和巨大的预训练权重，难以在实际生产中普及。

StateSMix 是一个完全独立的无损压缩器，创新性地将 在线训练的 Mamba 状态空间模型 (SSM) 与 稀疏 n-gram 上下文混合相结合。它无需 GPU、无需预训练权重、无外部依赖，却在 10 MB 以下的文件压缩中击败了业界标准的 xz -9e，为高效数据存储提供了全新的轻量化解决方案。

核心亮点：轻量、高效、独立

1. Mamba SSM 核心引擎

• 在线学习：采用约 120K 参数的 Mamba 风格 SSM，通过 Adam 优化器在压缩过程中实时在线训练，自适应捕捉数据特征。
• 长程依赖捕捉：SSM 擅长处理序列数据中的长程依赖，单独使用即可比纯计数基线提升 46.6% 的压缩率，并在无 n-gram 辅助时已优于 xz。

2. 稀疏 n-gram 逻辑偏置

• 多粒度上下文：集成从 Bigram 到 32-gram 的哈希表，捕获重复的多 token 模式。
• 互补增强：n-gram 组件在 SSM 提供的基础分布上，进一步提供 4.1% 的压缩率提升，特别是在处理局部重复结构时表现卓越。

3. 极致轻量与零依赖

• 无需 GPU：完全基于 CPU 运行，利用 AVX2/FMA 指令集加速，普通服务器即可部署。
• 无需预训练：所有模型参数均在压缩过程中从零开始在线学习，避免了庞大权重文件的分发与加载开销。
• 独立二进制：编译后为单一可执行文件，无 Python、PyTorch 等重型运行时依赖，极易集成到各类系统中。

性能表现：中小文件的王者

在标准基准测试数据集 enwik8 上的表现证明了 StateSMix 的有效性：

💡 结论：StateSMix 在所有 10 MB 以下的文件大小上均优于 xz。对于常见的配置文件、日志片段、代码包等中小文件，它是更优的选择。

消融研究启示

• SSM 是主力：移除 n-gram 后，SSM 仍能保持强劲性能，证明其作为核心预测引擎的有效性。
• n-gram 是助攻：移除 SSM 后，仅靠 n-gram 效果大幅下降，说明神经模型提供的概率分布基础至关重要。
• 长程关键：16-gram 和 32-gram 表对捕获复杂重复模式贡献显著，是超越传统 8-gram 模型的关键。

快速开始

1. 构建

确保系统安装支持 AVX2/FMA 的 GCC编译器：

make

2. 使用

压缩文件：

./ssm_best_version2 c input_file output_file.ssm

解压文件：

./ssm_best_version2 d output_file.ssm recovered_file

验证完整性（压缩+解压+比对）：

./ssm_best_version2 v input_file

技术架构详情

适用场景

• 中小文件归档：针对大量小于 10 MB 的代码库、配置文件、日志文件进行高效压缩存储。
• 边缘设备部署：由于无需 GPU 和重型依赖，适合在资源受限但具备 AVX2 支持的 CPU 设备上运行。
• 实时流式压缩：在线训练特性使其能够适应数据分布的变化，适合非静态数据流的压缩。
• 科研与实验：为研究状态空间模型在序列建模和非传统 NLP 任务中的应用提供绝佳案例。