PyTorch 2.7 带来英伟达RTX50系显卡支持、Mega Cache、FlexAttention 更新等

PyTorch 推出了 2.7 版本，为这个机器学习库带来了一系列新功能和改进。本次更新引入了对英伟达 Blackwell GPU 架构（RTX50系显卡）的支持，并为 CUDA 12.8 提供了预构建的 wheels，兼容 Linux x86 和 arm64 架构。一个值得注意的新增功能是 torch.compile 对 Torch Function Modes 的支持，允许用户覆盖任何 torch.** 操作以实现自定义行为。该版本还首次推出了 Mega Cache 功能，提供端到端的便携式缓存能力。FlexAttention 迎来多项增强，包括 LLM 首个 token 处理、LLM 吞吐量模式优化以及推理支持。针对 Intel GPU 架构进行了性能优化，提高了效率和速度。其他更新包括 PyTorch Context Parallel API、对 foreach_map 的支持以及 inductor 中的 prologue fusion 支持，以及各种其他增强和错误修复。这些更改旨在增强 PyTorch 在计算机视觉和自然语言处理等领域工作的开发人员的功能和性能。