摩尔线程宣布已经成功支持 DeepSeek 开源通信库 DeepEP 和并行算法 DualPipe

在 DeepSeek 开源周的第四天，摩尔线程宣布了一项重要的技术进展：成功支持 DeepSeek 的开源通信库 DeepEP 和并行算法 DualPipe，并发布了相关的开源代码仓库 MT-DeepEP 和 MT-DualPipe。

• GitHub：https://github.com/MooreThreads/Torch_MUSA

关于 DeepEP 和 DualPipe

DeepEP 是一个专为 MoE（混合专家）模型训练和推理设计的开源通信库，主要用于大模型训练，尤其是需要专家并行（EP）的集群训练。它通过优化通信信道的使用率，显著提升了训练效率。

相关：DeepSeek 开源周第四弹：DualPipe 和 EPLB 的发布

DualPipe 是 DeepSeek-V3 提出的双向流水线并行算法，通过完全重叠前向和后向计算阶段的计算与通信，减少了“流水线气泡”（设备空闲等待），从而优化了整体训练流程。

摩尔线程的技术适配与优化

摩尔线程基于其 MUSA Compute Capability 3.1 全功能 GPU，成功适配了 DeepEP 和 DualPipe，并在多个关键特性上进行了优化：

MT-DeepEP：高效通信与资源管理

1. 高效优化的 All-to-All 通信：支持 dispatch & combine，确保通信效率最大化。
2. MTLink + GPU 节点内通信：支持 MUSA Compute Capability 3.1 的节点内通信，提升集群训练效率。
3. 高吞吐量与低延迟核心：优化训练和推理阶段的计算核心，分别针对预填充和解码阶段。
4. 原生支持 FP8 数据分发：进一步提升数据传输效率。
5. 灵活的 GPU 资源管理：实现计算与通信的高效重叠，减少资源浪费。

MT-DualPipe：优化双向流水线并行

1. 完整接入 MT-Megatron 和 MT-TransformerEngine：支持 DeepSeek V3 训练流程的完整复现。
2. MLP-FFN 分离与 DW-DG 分离：进一步降低气泡占比，优化通信效率。
3. 结合 MT-DeepEP 和异步通信引擎：实现更高效的通信掩盖，降低对计算资源的损耗。