Liquid Inference

来自金融科技公司Architect Financial Technologies推出Liquid Inference，一套采用逐请求实时拍卖机制的LLM推理路由器，打造AI推理算力交易市场。简单来说，各个推理服务商针对模型给出报价，用户每发送一条提示词，系统就发起一次拍卖，满足用户约束条件的最低报价服务商承接本次请求；开发者仅需要更换API的base URL，原有代码无需改动，由各家推理供应商互相竞价压低使用成本。

Architect本身并非AI模型实验室，它原本运营AX永续期货交易所，在今年5月收购了一家美国指定合约市场，计划上线GPU算力期货产品，该收购尚待监管审批。团队将搭建金融交易所的价格发现、撮合交易经验迁移到大模型推理领域，搭建这个双边交易市场。

整套推理拍卖流程分为四步：

1. 请求：客户端发起标准OpenAI或Anthropic格式API调用；
2. 规则过滤：买家预设约束，筛选符合条件的服务商报价，例如成本上限、首token延迟、最低吞吐、部署区域、数据留存策略、服务商/模型白名单；Auto模式还可以自动匹配适合任务的模型；
3. 拍卖撮合：提供该模型服务的厂商参与竞价，合格报价里最低价中标；
4. 交易回执：在生成首个token前锁定最高计费价格，最终按实际token用量计费，每笔任务都会生成交易凭证。

平台还开放金融市场风格的实时订单簿，用户可以查看各服务商、各模型实时报价，以及历史成交记录，这类透明市场数据在现有的LLM API网关产品里并不常见。

对开发者（买家）

• 即插即用，兼容主流AI编码代理：Claude Code、Codex、OpenCode、Cursor、Pi、Cline都可以直接接入
• 邮箱注册即可使用，前500名注册用户赠送20美元推理额度
• 推荐奖励：被推荐人产生费用的20%作为推荐者免费算力，二级推荐额外再加10%

对推理服务商（卖家）

服务商提交申请入驻，官方称新供应商几分钟内即可完成验证，而不是传统平台的数周流程。接口遵循OpenAI API标准，支持REST与WebSocket，服务商可以随时根据自身算力成本动态调整报价，灵活出售闲置GPU资源。资金结算依托Stripe，每一笔任务都保留独立账单记录。

和OpenRouter、Hugging Face推理服务商横向对比

Liquid Inference最大差异是逐请求拍卖撮合；OpenRouter采用价格加权负载均衡；Hugging Face推理默认优先选择速度最快的服务商，可手动选择最便宜选项。

Liquid Inference同时支持OpenAI、Anthropic两类API协议，在首token生成前锁定价格，支持零数据留存、区域限制与服务商白名单，还提供实时订单簿和成交数据。不过平台抽成比例、服务商完整名单、详细延迟指标目前暂未对外披露。

要点小结

1. 核心创新：每条LLM请求单独拍卖，服务商竞价，符合规则的最低价获得推理任务
2. 底层背景：由期货交易所团队打造，把金融市场的价格发现机制应用到大模型推理算力
3. 使用门槛：仅更换base URL，原有代码不变；兼容Cursor、Claude Code等AI编程代理
4. 交易保障：首token生成前锁定价格，按实际用量结算，提供完整交易回执
5. 激励政策：前500名用户赠送20美元额度，推荐计划可获取算力奖励
6. 待披露信息：平台手续费、服务商完整名单、延迟性能数据暂未公开