Supabase Evals

AI 编程助手越来越普及，但它们在特定平台上的表现究竟如何？Supabase 给出了一个硬核答案：别光看聊天截图，来跑跑真实任务。

Supabase 正式开源了 Supabase Evals，这是一套用于评估 AI 智能体（如 Claude Code、Codex、OpenCode）在 Supabase 平台上构建能力的基准测试框架。它不再依赖模拟环境，而是让 AI 在真实的容器化堆栈中完成构建 Schema、调试 Edge Function、修复 RLS 策略等实际任务，并对结果进行严格评分。

为什么需要“真实环境”测试？

在金融科技或医疗保健等受监管领域，AI 如果写错了行级安全（RLS）策略，就是一次严重的安全事故。传统的文档问答测试无法暴露这类深层问题。

Supabase Evals 的核心价值在于真实性：

• 真实堆栈：框架会在 Docker 容器中启动一个类似托管环境的 Supabase 实例和本地 CLI 项目。
• 真实交互：智能体可以调用实际的 MCP 服务器和 CLI 命令，就像开发者在本地操作一样。
• 真实场景：测试用例源于真实的支持工单、错误报告和 GitHub Issue，覆盖了从广度到已知失败模式的各类场景。

工具链如何工作？

Evals 框架通过三个维度定义测试场景：产品、主题和阶段。它选取了能覆盖这些维度的最小场景集，分为两类：

1. 基准场景（Benchmark）：覆盖广泛的功能点，公开发布，用于生成公开排行榜。
2. 回归场景（Regression）：涵盖已知的失败模式，每日刷新，用于内部监控，不改变公开分数。

每个评估目录结构清晰，包含 PROMPT.md（提示词）、EVAL.ts（评分逻辑）以及可选的起始状态文件。评分机制结合了确定性检查（如数据库状态验证）和 LLM 作为评判者（评估代码质量），并允许智能体在评分前进行一次重试。

关键发现：技能包的作用与模型差异

Supabase 在测试中发现了一些有趣的现象：

• 顶级模型表现强劲：在没有加载额外技能（Skills）的情况下，Opus 5 和 Kimi K3 均在无辅助状态下获得了 100% 的通过率。
• 技能包对小模型提升显著：对于较小的模型，技能包填补了能力缺口。例如，Sonnet 5 从 78% 升至 100%，GPT-5.6 Sol 从 89% 升至 100%。
• 暴露常见弱点：
  • 智能体倾向于手写迁移脚本，而非使用声明式 Schema。
  • 智能体常手动验证身份验证，而非直接使用 @supabase/server 包。
  • 这些发现直接推动了 Supabase 官方文档和技能指导的更新。
• 文档使用习惯差异巨大：
  • Codex / GPT-5.6 平均每个场景阅读约 8 页文档。
  • Claude Code 平均仅阅读约 2 页，即使在加载技能的情况下，它在不到 40% 的场景中会主动查阅文档。

如何部署与使用？

Supabase Evals 基于 Apache-2.0 许可开源，开发者可以轻松在本地运行：

1. 环境要求：需要 Docker 守护进程、相关提供商的 API Key，以及端口 54321–54329 空闲。
2. 安装运行：通过 pnpm 即可在本地启动测试。
3. 应用场景：
   • 对文档和技能编辑进行回归测试。
   • 为 SDK 发布设置质量门控。
   • 并排比较不同智能体工具链的表现。