Jev + Kimi K3 欺诈检测

Nutlope 发布了一个开源欺诈检测演示，展示如何将 Jev 语义决策引擎与 Kimi K3 大模型组合为分层分类管线。Jev 对 100 封真实邮件（50 欺诈/50 合法）进行初筛并返回置信度分数，≥95% 的预测直接采纳，低于阈值者交由 Kimi K3 独立复审。在记录的运行中，该管线正确分类 92/100 封邮件，总耗时 6.1 秒，估算成本约 $0.102。

该演示核心价值在于验证置信度驱动的路由策略：用低成本、低延迟的专用决策模型处理高确信样本，仅将模糊案例交给昂贵通用模型，从而在准确率与成本间取得平衡。代码完全开源，支持本地回放、实时运行及 Vercel 部署。

技术架构：双队列异步处理与透明成本追踪

• Jev 分类层：通过 Vercel AI Gateway 调用，最多并发 20 请求，输出结构化置信度分数。本次运行中网关报告 Jev 成本为 $0（可能因免费额度或缓存）。
• Kimi K3 复审层：在 Together AI 上运行，独立队列支持最多 25 并发审查。仅接收原始邮件内容，不依赖 Jev 中间结果，确保复审独立性。
• 数据集：DIFrauD 提供的 100 封真实邮件（50/50 平衡），标签仅用于评分，不参与模型输入。
• 前端：Next.js App Router + React + Tailwind + Radix UI，提供实时决策流可视化、阈值调节、单邮件检查及结果导出。
• 成本计量：Kimi 成本基于 token 估算（不含缓存折扣）；Jev 成本取自网关报告。仪表板明确区分“估算”与“不可用”成本项。

关键设计原则：两个模型均看到原始邮件，避免级联误差；置信度阈值可调，便于探索不同精度-召回权衡；录制模式保存完整结果至 data/recording.json，支持离线分析。

实测结果与局限性

记录运行指标：

• 总耗时：6.1 秒
• Jev 自主处理：70 封（70%）
• Kimi 复审：30 封（30%）
• 组合准确率：92/100（92%）
• 总成本：~$0.102（Kimi 占主导）

重要注意事项：

• 样本量小（n=100）且平衡，不代表生产环境分布。
• 置信度 ≠ 实测准确率；95% 阈值下仍有误判。
• 结果因运行而异；演示推文展示的是另一次运行。
• Kimi 成本为估算值，实际账单可能受缓存、批处理等因素影响。
• Jev $0 成本可能不可持续，需关注网关定价变更。

该演示是概念验证而非生产系统。其价值在于提供可复现的基准，帮助团队评估分层路由策略的可行性，而非承诺特定性能。

部署与使用指南

本地运行：

git clone https://github.com/Nutlope/jev-fraud.git
cd jev-fraud && npm install
cp .env.example .env.local
# 编辑 .env.local 填入 TOGETHER_API_KEY 和 AI_GATEWAY_API_KEY
npm run dev -- --port 3017

访问 localhost:3017。无密钥时可使用 10s replay 模式观看预录结果。

录制新运行：

npm run benchmark  # 执行付费 API 调用，保存至 data/recording.json

⚠️ 先完成当前实时运行再录制，避免数据冲突。

Vercel 部署：

1. 导入仓库，使用 Next.js 预设
2. 添加 TOGETHER_API_KEY 和 AI_GATEWAY_API_KEY 为环境变量
3. 构建命令：npm run build
4. 启用实时运行需设置 ENABLE_LIVE_RUNS=true 并配置 Deployment Protection 或身份验证
5. 注意：实时路由有 300 秒超时，确认 Vercel 计划支持

默认部署仅启用重放模式，防止意外产生费用。生产使用前务必添加访问控制。

扩展思考：何时采用分层路由？

此演示适用于以下场景：

• 初筛模型成本低、延迟敏感，但存在不确定区间
• 复审模型准确率高但昂贵/慢速
• 业务容忍少量误判，但需可控成本
• 需要可解释的决策路径（哪些样本被复审、为何）

不适用场景：

• 所有样本均需最高准确率（应直接用强模型）
• 初筛模型置信度校准差（阈值失效）
• 数据分布极度不平衡（小样本演示结论不可外推）
• 合规要求全链路审计（当前成本估算非精确账单）

建议在生产前：扩大测试集规模、验证置信度校准、监控实际账单、建立回退机制。此演示是起点，而非终点。