Windows ML迎来重大更新：原生支持GGUF与ONNX，打通本地大模型落地

微软近期公布Windows ML的一系列重要更新，新增原生GGUF、ONNX模型支持，配套全新API，同时深化和开源社区、硬件厂商协作，持续夯实Windows平台本地AI推理能力。

Windows ML作为Windows内置统一高性能本地AI推理框架，上线已超一年，核心价值是让开发者开发Win11 AI应用时，不用单独针对不同硬件做适配优化。在10月Windows and Surface硬件发布活动上，微软再次强调本地端AI推理的战略地位，并详细披露本轮技术进展。

最受开源开发者关注的，是微软和llama.cpp社区深度协作，在Windows ML里带来GGUF原生支持。开发者可以借助实验性集成方案，直接从Hugging Face导入GGUF格式大模型，在Windows设备本地运行；微软也联合NVIDIA，向llama.cpp项目贡献性能优化代码。

Windows ML新增一条实验性原生推理链路，可同时承载ONNX、GGUF两类模型，配套推出文本生成、语音识别API，这套底层能力统一封装为Windows ML Runtime API。微软表示该运行时具备更好性能、深度系统集成能力与精细化调控能力。原有ONNX Runtime会继续保留并完全可用，但未来Windows专属的底层优化，都会优先投入Windows ML Runtime API，开发者可沿用熟悉的旧接口，按需逐步迁移。

除模型推理层之外，微软也持续回馈PyTorch、Triton开源项目。PyTorch现已提供原生Windows Arm64 CPU编译包，带CUDA加速的Windows Arm64版本则由NVIDIA负责维护。Triton编译器更新后，能够在Windows支持的GPU上启用triton.jit、torch.compile以及自定义GPU内核，进一步释放Windows平台GPU算力潜力。

微软透露后续规划：持续联合开源社区与硬件伙伴，补齐原生软件包、扩充内核覆盖范围，持续优化性能，完善Windows on ARM平台适配。开发者现在就可以参考官方文档上手体验本次更新带来的新能力。

要点小结

• 核心更新：Windows ML新增实验性原生推理链路，同时支持GGUF、ONNX模型，配套文本生成、语音识别API
• 开源协作：深度对接llama.cpp社区，支持直接加载Hugging Face GGUF模型；联合NVIDIA优化llama.cpp
• 运行时说明：ONNX Runtime保留可用，Windows专属新优化将落地在Windows ML Runtime API
• 配套生态：PyTorch提供Windows Arm64原生CPU构建；Triton在Windows GPU支持JIT编译与自定义内核
• 长期路线：继续完善包管理、内核、性能与ARM平台本地AI生态