LiteRT.js

在浏览器中运行人工智能模型，长期以来受限于 JavaScript 的执行效率。

谷歌今日推出了 LiteRT.js，旨在打破这一瓶颈。作为其移动端 LiteRT 运行时在 Web 端的延伸，新库利用 WebAssembly、WebGPU 和 WebNN 等现代 Web 标准，将原生级的 AI 性能带入浏览器。

谷歌声称，在配备 M4 芯片的 2024 款 MacBook Pro 上，LiteRT.js 的推理速度比现有的 TensorFlow.js 快 3 倍。

核心变革：硬件加速取代 JS 内核

TensorFlow.js 之所以慢，是因为它主要依赖基于 JavaScript 的内核进行计算，这在处理大规模矩阵运算时效率低下。

LiteRT.js 则完全不同：

• WebAssembly (Wasm)：将高性能的 C++ 代码编译为浏览器可执行的二进制格式，绕过 JS 引擎的性能限制。
• 硬件后端支持：原生集成 WebGPU 和 WebNN（Web Neural Network API），直接调用 GPU 或专用 NPU 进行加速，而非仅依靠 CPU。
• 跨平台统一：此前 LiteRT 仅服务于 Android 和 iOS 原生应用，现在通过 Wasm 暴露接口，实现了移动端与桌面端浏览器的运行时统一。

开发者体验：平滑迁移路径

对于已经使用 TensorFlow.js 的开发者，迁移成本极低。

1. TFLite 用户：如果你已有 .tflite 格式的模型，只需替换 JavaScript 运行时库，将 tfjs-backend-wasm 或类似后端切换为 litert-js 即可。
2. SavedModel/Keras 用户：可以使用 Python TensorFlow包中内置的 LiteRT Converter，将 TensorFlow SavedModel 或 Keras 模型转换为优化的 .tflite格式，再投入 Web 端使用。

这种设计表明，谷歌希望 LiteRT.js 成为 TensorFlow.js 的自然演进版本，而非一个完全孤立的新生态。

潜在影响：TF.js 的未来？

LiteRT.js 的推出引发了一个有趣的问题：TensorFlow.js 会被弃用吗？

目前，谷歌并未明确表态。但考虑到 LiteRT.js 在性能上的显著优势以及其与移动端生态的一致性，未来 TensorFlow.js 可能会逐渐退居次要地位，或仅作为兼容层存在，而 LiteRT.js 将成为 Web ML 的首选运行时。

当然，目前的基准测试数据主要基于苹果最新的 M4 硬件。在旧款设备、Windows PC 或非 Chromium 内核浏览器上，WebGPU/WebNN 的支持程度差异可能导致性能表现参差不齐。这需要社区进一步的广泛测试。