Laya

Laya 是一款多语言、非自回归 System 1决策引擎，采用RLCD（针对严格适当评分规则的强化学习）训练。它不做文本生成，只输出结构化判定，不存在大模型常见的文本幻觉问题；单次前向传播即可完成决策，单请求耗时约33ms，批量场景低至7.2ms/每条（T4实测）。内置路由器，自动识别语言并分配对应模型权重。

三大模型检查点

laya-multilingual 默认截断上限为1024，处理长文档需要手动传入max_len=8192。文档长度在4000token以内效果稳定，超过后准确率波动变大，建议业务侧实测验证。

核心能力

• 三类结构化输出：choice多选分类、score有序打分、noul二分类概率。适合工单分流、客户紧急度评估、流失风险判定等业务。
• 内置语言路由：自动识别文本语种，非英语内容自动调度到multilingual多语言模型，一行API即可处理多语言工单。
• 支持微调：零样本开箱可用，在业务数据集微调后效果提升显著。在2000条跨工作流决策基准测试，微调版laya-typed-decisions准确率可达0.766，基础英文模型仅0.362。
• 丰富扩展组件：laya[serve] HTTP服务、laya[mcp] MCP服务器、LangChain/LangGraph集成、ONNX Runtime、TileLang GPU加速路径。

安装方式

Python 3.10+

python -m pip install laya

可选附加包示例：

python -m pip install laya[serve,mcp,langchain,onnx,fast]

快速上手代码示例

from laya import Router
router = Router()  # preload=True 预加载全部模型
state = "Hi, we were billed twice for March. Please refund the duplicate today or we will cancel our plan."
questions = {
    "department": {"type": "choice", "instructions": "Which department should handle this?",
                   "criteria": {"billing": "invoices, payments, refunds",
                                "technical": "bugs, outages, system errors",
                                "other": "everything else"}},
    "urgency": {"type": "score", "instructions": "How urgent is this?",
                "criteria": ["not urgent", "soon", "blocking"]},
    "churn_risk": {"type": "noul", "instructions": "Does the user threaten to cancel or leave?"},
}
result = router.predict(state, questions)
print(result["answers"]["department"]["choice"])
print(result["answers"]["churn_risk"]["noul"])
print(result["routing"]["model"])

0.3.20版本更新要点

1. 长文档支持：laya-multilingual支持max_len=8192，附带可复现的长上下文基准脚本
2. 运行时稳定性优化：CUDA显存不足自动回退CPU；修复单选项choice崩溃、并发缓冲区覆盖问题
3. 服务端优化：laya-serve优雅排空推理池，完善鉴权头错误返回；ONNXAgent对齐空输入行为
4. 配套文档站点上线：nandhakishorm.github.io/laya，自动从代码注释生成完整API文档
5. 命令行工具：laya "文本" --preset triage可直接使用预置工单分类问题集

适合场景：客服工单路由、内容审核、用户风险判定、业务表单结构化抽取；没有文本生成环节，只输出判定结果。