DeepEP

在 DeepSeek 开源周的第四天，摩尔线程宣布了一项重要的技术进展：成功支持 DeepSeek 的开源通信库 DeepEP 和并行算法 DualPipe，并发布了相关的开源代码仓库 MT-Deep...

在大语言模型领域，专家混合（MoE）架构因其能在不显著增加计算量的情况下提升模型容量而受到青睐。但MoE模型在GPU间通信方面面临挑战，传统的全对全通信方法可能成为瓶颈。为此，深度求索开源第二弹Dee...