TensorRT Model Connect

英伟达正式公开发布了 TensorRT Model Connect (TRTMC) 的预览版。这是一个开源项目，旨在简化 AI 模型的部署流程，允许开发者通过简单的两条命令，将受支持的 Hugging Face 或本地检查点直接转换为端到端的 TensorRT 推理引擎。

该过程完全跳过了传统的 ONNX 导出步骤，生成的带版本 .bundle 工件可通过原生 C++ API 运行，从而在无需 PyTorch 运行时依赖的情况下，实现高性能的边缘计算、机器人控制及嵌入式应用部署。

核心突破：去 ONNX 化与 C++ 原生集成

•  极简构建流程：
  TRTMC 消除了传统路径中 PyTorch → ONNX/TorchScript → TensorRT 的复杂转换链，避免了导出间隙和重复的模型集成工作。

  # 1. 构建 Bundle
  trtmc build Qwen/Qwen3-0.6B --precision bf16 --max-cache-length 16384 --output qwen3-0.6b.bundle
  
  # 2. 运行推理（或直接加载到 C++）
  trtmc run ./qwen3-0.6b.bundle --prompt "What is the capital of France?"
  

•  .bundle 工件设计：
  • 构建与运行分离：Python 负责检查点解析和引擎构建，生成的 .bundle 包含所有必要的元数据和引擎文件。
  • 无 PyTorch 运行时：C++ 应用程序通过 trtmc::load() 加载 bundle，调用统一的任务 API（如 generate(), transcribe(), embed()），彻底摆脱对 Python 环境的依赖。
  • 可审计性：通过 trtmc inspect 可查看 bundle 的类型、精度、模型家族及引擎身份，确保部署的透明度。
•  AI 辅助开发：
  英伟达透露，整个项目（包括模型实现、性能调优、测试及文档）是在人工指导下，利用 OpenAI Codex 代理 构建完成的，展示了 AI 在底层系统软件开发中的巨大潜力。

部署现状与限制

• 平台支持：
  • Linux aarch64：提供预编译的 wheel 包，支持 Python 3.10/3.12 及 glibc 2.39+。
  • x86_64：目前暂无预编译 wheel，用户需通过 Docker 进行源码构建。
• 适用场景：
  • 边缘与嵌入式：机器人、车载计算、工业检测、医疗设备等对延迟和资源敏感的场景。
  • 高性能服务：需要 C++ 二进制文件而非 Python 服务器的媒体处理、OCR 及检索服务。
• 性能表现：
  在 GB300 快照测试中，覆盖的 105 个配置文件中，有 102 个的性能超过了声明参考值 5% 以上。