
BioNeMo Inference Runtime
英伟达正式开源了 BioNeMo Inference Runtime (BioIR),这是一个专为生物分子结构预测模型设计的 Python 推理运行时。它解决从单目标预测转向蛋白质组规模(Proteome-scale)工作负载时的性能瓶颈,通过三层优化架构,在保持纯 PyTorch 工作流的同时,显著提升了 Boltz-2、OpenFold2 和 OpenFold3 等模型的推理吞吐量。
ACRouter 是一个开源的模型路由框架,它摒弃了传统的静态分类或硬编码规则,引入了 Agent-as-a-Router(智能体即路由器)的新范式。通过动态学习历史执行反馈,ACRouter 能够自动将任务分配给最合适的模型,在保持前沿性能的同时,将成本降低至仅使用顶级模型(如 Claude Opus)的 1/2.6。
在企业级 AI 应用中,如何平衡成本与性能是一个核心挑战。ACRouter 是一个开源的模型路由框架,它摒弃了传统的静态分类或硬编码规则,引入了 Agent-as-a-Router(智能体即路由器)的新范式。通过动态学习历史执行反馈,ACRouter 能够自动将任务分配给最合适的模型,在保持前沿性能的同时,将成本降低至仅使用顶级模型(如 Claude Opus)的 1/2.6。

现有的模型路由方案主要依赖两种机制:
这两种方法都存在严重的信息赤字:它们只评估输入文本,却从未检查模型是否真正成功完成了任务。这导致静态路由器在面对分布外(OOD)任务、模型更新或复杂边缘情况时,往往做出错误的路由决策,造成资源浪费或任务失败。

ACRouter 的核心在于构建一个具备记忆能力的动态智能体,通过 Context-Action-Feedback (C-A-F) 循环实现“在工作中学习”:
在包含约 10,000 个任务的 CodeRouterBench 基准测试中,ACRouter 展现了显著优势:
| ✅ 适用场景 | ❌ 不适用场景 |
|---|---|
| 可验证任务:如代码生成、数据检索、数学计算等,有明确的对错标准。 | 主观创意任务:如创意写作、艺术建议,缺乏标准化的验证信号。 |
| 高吞吐量应用:需要大规模处理请求,对成本敏感的企业级工作流。 | 低吞吐量/琐碎任务:路由系统的开销可能超过其带来的收益。 |
| 多模型混合栈:企业同时使用多个不同特长的大模型(开源/闭源混合)。 | 单一模型依赖:如果只使用一个模型,无需路由。 |







