月之暗面正式开源 Kimi K3:2.8T 参数刷新开源纪录,三项核心 Infra 技术同步公开

大语言模型3个月前发布 小马良
210 0

月之暗面(Moonshot AI)今天兑现了承诺,正式开源了 Kimi K3 模型。

月之暗面正式开源 Kimi K3:2.8T 参数刷新开源纪录,三项核心 Infra 技术同步公开

这不仅是一次模型权重的释放,更是一次从算法到基础设施的全方位开放。Kimi K3 以 2.8 万亿参数的规模,再次刷新了开源模型的体量上限——在过去 12 个月里,Kimi 系列有 9 个月都保持着这一纪录。

  • 官方介绍:https://www.kimi.com/blog/kimi-k3
  • GitHub:https://github.com/MoonshotAI/Kimi-K3
  • 模型:https://huggingface.co/moonshotai/Kimi-K3
  • FlashKDA:https://github.com/MoonshotAI/FlashKDA
  • AgentENV:https://github.com/kvcache-ai/AgentEnv
  • MoonEP:https://github.com/MoonshotAI/MoonEP

架构升级:更高效,更稀疏

Kimi K3 并非简单的参数堆砌。它基于 KDA(Kimi Delta Attention)混合线性注意力机制和注意力残差技术构建,原生支持视觉理解,并拥有高达 100 万 token 的上下文窗口。

月之暗面正式开源 Kimi K3:2.8T 参数刷新开源纪录,三项核心 Infra 技术同步公开

在 MoE(混合专家)架构上,Kimi K3 进一步扩大了稀疏度。结合 Stable LatentMoE 框架,它能在 896 个专家中高效激活仅 16 个。这种结构性改进,加上训练方法和数据配方的优化,使得 Kimi K3 相比前代 K2 的整体扩展效率提升了约 2.5 倍。简单来说,就是用同样的算力,换来了更强的智能。

月之暗面正式开源 Kimi K3:2.8T 参数刷新开源纪录,三项核心 Infra 技术同步公开

能力亮点:长程编码与视觉推理

官方数据显示,虽然 Kimi K3 在整体表现上仍略逊于最强的闭源模型(如 Claude Fable 5 和 GPT-5.6 Sol),但在整套评测中已展现出前沿水平,并稳定超越了其他所有开源及多数闭源模型。

其两大杀手锏尤为引人注目:

  1. 长程编码能力:在极少人工监督的情况下,Kimi K3 能持续完成长时间的工程任务,理解并处理大型代码库,甚至协调使用终端工具。
  2. 视觉与工程结合:它擅长将软件工程与视觉推理相结合。例如,在游戏开发、前端调试或 CAD 设计中,它能利用截图和视觉反馈来优化代码,实现“看图改 Bug”或“看图写界面”。

不止于模型:三项 Infra 技术同步开源

这次发布最让开发者兴奋的,或许是月之暗面同步开源了支撑 Kimi K3 训练的三项关键基础设施技术:

  • MoonEP:高性能通信库,解决大规模分布式训练中的通信瓶颈。
  • FlashKDA:此前已开源的高性能算子,针对 KDA 注意力机制进行了深度优化。
  • AgentEnv:分布式强化学习(RL)环境,为智能体的复杂任务训练提供标准化支持。

这三项技术覆盖了从高性能通信、算子加速到分布式 RL 环境的关键链路。对于希望复现超大规模模型训练或构建自有 Agent 平台的团队来说,这是一份极具价值的“工业级说明书”。

Kimi K3 的开源,再次证明了中国 AI 实验室在超大规模模型训练和工程化落地上的实力。它不仅提供了一个强大的基座模型,更通过开放底层 Infra,降低了整个行业探索 AGI 的门槛。

© 版权声明

相关文章