由 Hugging Face、中关村学院、意大利基因研究所等机构联合研发的 CARBON 系列模型正式亮相。这是一套专为基因组序列设计的高效生成式 DNA 大模型，包含 3B 和 8B 两个版本。
- GitHub：https://github.com/huggingface/carbon
- 模型：https://huggingface.co/collections/HuggingFaceBio/carbon
CARBON 的推出挑战了当前生物大模型领域“唯参数论”和“唯长度论”的主流观点。通过注释感知数据精选、固定 6-mer 分词以及分阶段训练目标三大核心创新，CARBON 在仅使用 30 亿参数的情况下，不仅在多项基准测试中持平甚至超越了拥有 70 亿参数的 Evo2 模型，更将推理速度提升了 数十倍至百倍。
核心突破：为何 CARBON 能“以小博大”？
传统大语言模型（LLM）技术直接套用于基因组数据时，往往面临高冗余、低信噪比以及生物学特性不匹配的问题。CARBON 通过以下三项针对性设计，实现了效率与精度的双重飞跃：
1. 数据构建：注释感知的精准精选
基因组数据中存在大量无效重复序列。CARBON 摒弃了简单的全量爬取，采用**注释感知（Annotation-Aware）**策略进行数据清洗：
- 高信噪比混合比例：70% 真核功能区 + 16% mRNA + 4% mRNA 剪接区 + 10% 原核生物。
- 元信息条件训练：引入物种和基因类型作为条件信号，显著提升了模型的跨物种泛化能力。
2. 分词方案：固定 6-mer 取代 BPE
这是 CARBON 最具颠覆性的设计之一。
- 放弃 BPE：自然语言处理中常用的字节对编码（BPE）在 DNA 序列上存在边界歧义，且不利于自回归生成。
- 固定 6-mer 分词：采用非重叠的 6 个碱基作为最小单元。
- 效率提升：词汇量固定为 4096，序列长度压缩为原来的 1/6，大幅降低计算成本。
- 精度保障：避免了分词歧义，序列恢复准确率较 BPE 提升近 1 倍。
- 混合架构：模型使用混合分词器，通过
<dna>标签在英文文本（BPE）和 DNA 序列（6-mer）间无缝切换。
3. 训练目标：分阶段 CE → FNS
为解决直接进行单碱基预测的不稳定性，CARBON 采用了两阶段训练策略：
- 阶段一（CE）：使用交叉熵损失学习 6-mer 内部的联合依赖关系，建立宏观序列模式。
- 阶段二（FNS）：引入因子化核苷酸监督（Factorized Nucleotide Supervision），将任务细化为单碱基级监督。
- 效果：有效解决了“损失阶梯”问题，提升了 BF16 精度下的推理稳定性，并确保模型在保持高效的同时具备单碱基分辨率的理解能力。
模型规格与超长上下文能力
CARBON 基于标准 Decoder-only Transformer 架构，但在上下文支持上表现惊人：
| 模型版本 | 参数量 | 训练上下文 (Tokens) | 推理最大上下文 (Tokens) | 对应 DNA 长度 (bp) |
|---|---|---|---|---|
| Carbon-500M | 500M | – | – | 用于推测解码的草稿模型 |
| Carbon-3B | 3B | 32,768 | 65,536 | 393k |
| Carbon-8B | 8B | 32,768 | 131,072 | 786k |
注：得益于 6-mer 分词，Token 数与碱基对（bp）的比例为 1:6。
性能实测：零样本下的 SOTA 表现
在未进行任何微调的情况下，CARBON 在多项关键基因组任务中展现了卓越性能：
1. 效果对标
- Carbon-3B：以不到 Evo2-7B 一半的参数量的，实现了持平甚至略优的性能。
- Carbon-8B：在所有测试任务中均超越 3B 版本，尤其在长上下文检索任务中优势明显。
2. 关键指标
- 序列恢复准确率：3B 达到 61.54%，8B 达到 64.05%。
- 变异效应预测（BRCA2）：3B 准确率为 84.63%，8B 为 85.72%。
- 长上下文检索（786k bp）：8B 模型得分 65%，显著高于 Evo2-7B 的 53%。
3. 效率碾压
- 推理速度：相比同等性能的竞品，CARBON 的推理速度快 150 倍以上。
- 显存占用：大幅降低，使得在消费级显卡上运行长序列分析成为可能。
下游任务微调潜力
除了强大的零样本能力，CARBON 在特定下游任务微调后也表现出色，接近专用模型水准：
- DeepSTARR（调控元件预测）：平均相关系数 0.748。
- 随机启动子活性预测：相关系数 0.807。
- Malinois MPRA 活性预测：平均相关系数 0.822。
行业启示：生物特性对齐 > 单纯规模扩张
CARBON 的成功为 AI for Science 领域提供了重要的方法论参考：
- 瓶颈不在规模：DNA 建模的核心瓶颈并非参数大小或名义上的上下文长度，而是数据质量、分词适配性以及训练目标与生物机制的对齐程度。
- 专用设计的价值：盲目套用 NLP 技术（如 BPE 分词）往往适得其反。针对领域特性（如 DNA 的四字母表、三联密码子结构）进行底层优化，能以极小的代价换取巨大的性能提升。
- 开源生态贡献：Hugging Face 不仅开源了模型权重，还整合了分散的评估代码（序列恢复、变异预测、扰动分析），降低了社区复现和基准测试的门槛。
© 版权声明
文章版权归作者所有，未经允许请勿转载。
