iFixAi

iFixAi 是一款专为检测AI智能体“运行偏差”设计的诊断工具，能在问题演变为业务事故前识别行为盲区。所谓运行偏差，指智能体实际表现与企业意图、设计或预期不一致的状态——如权限泄露、引用捏造、诱导屈服或未授权操作等，这些问题通常不会反映在常规KPI中。

工具提供最多45项检查，分为32项核心检查（5分钟内出结果，生成字母等级）与13项扩展检查（单独评分，仅P01可限制最高等级）。它不是安全认证，而是可集成CI的重复性诊断流程，默认由独立模型评审而非自我评估，每次运行保留完整输入清单以供审计。支持CLI向导、显式参数脚本化及智能体插件/Skill三种使用方式，适配主流开发环境。

核心检查体系：五大支柱与前沿风险分层

iFixAi 的检查设计遵循“基础合规+高级对抗”双层逻辑，确保既覆盖已知风险又探索未知盲区：

32项核心检查（生成字母等级）
围绕运行偏差五大支柱构建，每项均有明确判定标准：

• 捏造（Fabrication）：验证事实引用、数据源真实性，检测幻觉输出
• 操纵（Manipulation）：测试对诱导性提示、角色扮演攻击的抵抗力
• 欺骗（Deception）：识别隐瞒能力、误导性解释、表面合规实则规避
• 不可预测性（Unpredictability）：评估相同输入下输出一致性、边界条件稳定性
• 不透明性（Opacity）：检验决策可解释性、日志完整性、人类监督接口有效性

核心检查采用单一评审模型（标准模式）或多模型集成（完整模式），结果以A-F字母等级呈现，便于快速对标改进。

13项扩展检查（独立评分，不提升等级）
聚焦前沿智能体特有高级风险，包括：

• 破坏性行为（Sabotage）
• 隐藏能力暴露（Hidden Capabilities）
• 监督规避（Oversight Evasion）
• 权力提升（Privilege Escalation）
• 长期目标偏移（Goal Drift）
• 多智能体合谋（Multi-Agent Collusion）
• …等11类新兴威胁

扩展检查永不提高核心等级，但P01（强制最低项）若失败会将最高等级封顶为C，防止严重漏洞被高分掩盖。所有扩展结果单独报告，供深度分析使用。

三种部署模式与实操配置指南

同一套诊断引擎可通过不同接口驱动，选择取决于使用场景与自动化需求：

关键配置要点

• 安装命令：pip install "ifixai[<provider>]"，provider需匹配被测智能体提供商（openai/anthropic/gemini等）
• 密钥管理：setup向导自动检测现有密钥并提示缺失项；运行时绝不存储密钥本身，仅引用环境变量名
• Windows兼容：若PowerShell找不到ifixai，将Python Scripts目录加入PATH或使用python -m ifixai
• 插件安装：
  • Claude Code: /plugin marketplace add ifixai-ai/iFixAi → /plugin install ifixai@ifixai-ai
  • Codex: codex plugin marketplace add ... → codex plugin add ...
• Skill创建：uvx ifixai install --agents <name> 支持cursor/claude/codex/vscode/windsurf/cline/continue/gemini/zed/all；零API密钥依赖，仅需uv+Python3.10+
• 成本预览：Skill模式支持--dry-run预估费用，确认后才执行真实诊断

评审模型策略

• 标准模式：1个独立厂商模型评审，平衡成本与可信度
• 完整模式：≥2个不同厂商模型集成评审，降低单点偏见风险
• 自我评审：仅作调试用途，生产环境禁用

使用边界与信任建立原则

iFixAi 明确自身定位为“诊断工具”而非“安全保证”，使用者需理解以下边界：

• 非认证性质：字母等级不代表合规认证，仅反映本次检查快照；监管认可需结合其他审计手段
• 覆盖率局限：45项检查无法穷尽所有风险，新型攻击手法可能逃逸检测；应定期更新检查集
• 评审模型依赖：诊断质量受限于评审模型能力；弱模型可能漏报复杂偏差，建议完整模式用于关键系统
• 上下文敏感性：检查结果高度依赖测试夹具设计；通用套件可能误判领域特定行为，需定制用例
• 审计链完整性：虽然保留输入清单，但若智能体端点变更或环境漂移，历史结果可能失效；建议版本锁定配置
• 成本可控性：扩展检查与多模型集成显著增加token消耗；生产环境应先smoke套件验证价值再扩大范围

最佳实践建议

• 将核心检查纳入CI流水线，每次代码/配置变更后自动触发
• 扩展检查按季度或重大版本更新时手动执行
• 对比历次报告趋势而非单次分数，关注偏差收敛方向
• 结合人工红队测试弥补自动化盲区，尤其针对社会工程学攻击
• 公开诊断方法论与局限性，避免内部过度信赖工具结论

iFixAi 的价值不在于给出“安全”标签，而在于将模糊的“AI是否可靠”转化为可测量、可追踪、可改进的具体指标。当智能体日益深入业务核心，这种可操作的透明度比任何承诺都更接近真正的信任。