Red Hat AI安全护栏基准：2亿参数小分类器，笔记本上性能几乎追上35B大模型

Red Hat 完成一组AI安全护栏基准测试，对比三类防护方案：专用小分类器、LLM作为评判器、Jev这类决策模型，在提示注入、内容安全两大任务上测试9种护栏配置，全部基于NVIDIA NeMo Guardrails工具包。测试结果显示，轻量模型可以在普通笔记本硬件上运行，并且取得接近超大LLM的防护效果。

• 模型：https://huggingface.co/RedHatAI/deberta-v3-base-prompt-injection-v2

提示注入基准

提示注入任务上，Qwen3.6-35B MoE大模型作为LLM评判器，以89.31%准确率位居榜首。Red Hat基于DeBERTa构建的2亿参数小型分类器紧随其后，达到89.01%，性能几乎持平35B模型。

延迟差距十分明显：DeBERTa在笔记本CPU上中位数仅54.1ms；Qwen3.6-35B在GPU集群上为312.5ms；Jev通过API调用，中位数348.1ms，准确率86.35%。

2亿参数小模型仅消耗极少算力，在笔记本CPU就能完成推理，在提示注入这个明确任务上，实现和千亿级大模型接近的识别效果。

内容安全基准

内容安全赛道排行榜顺序反转，TypeSafe的Jev决策模型以86.20%排名第一；开源同类方案DiffusionGemma 85.53%；Qwen3.6-35B 85.47%。

Red Hat自研1.25亿参数Granite Guardian分类器速度最快，中位数延迟33.2ms，但准确率80.27%，相比Jev低约6个百分点。

决策模型的优势体现在宽泛、多类型内容风险识别，覆盖暴力、偏见、亵渎、非法内容、角色扮演类越狱等场景。同类开源DiffusionGemma成绩非常接近Jev，Laya开源决策模型也可在笔记本CPU运行。

关键变量：策略定义直接影响分数

评测发现，风险策略、提示词定义会大幅改变模型准确率。

更换风险定义后，Nemotron提示注入准确率从69.37%提升至84.84%；Laya在内容安全任务上分数波动巨大，从57.87%最高提升至75.20%；就算是Jev，更换定制策略后，准确率也从86.20%下降至82.53%。

这意味着榜单分数不能直接拿来简单对比，决策模型很大程度依赖策略描述，提示词本身决定效果上限。

部署延迟的真实构成

不同模型运行环境并不相同：DeBERTa、Laya在M1 MacBook CPU本地跑；Qwen、Nemotron等大模型放在AWS上带96GB显存的GPU集群；Jev调用远程API，还额外叠加跨大西洋网络延迟，预估至少增加56ms。

扣除网络开销，Qwen推理延迟依旧远超本地小分类器。在业务链路前置安全校验场景，延迟至关重要，本地CPU小模型不用远程API、GPU集群，减少故障节点与额外成本。

选型结论与局限

1. 风险定义清晰、有足量标注数据场景：专用小分类器是优选，速度快、本地可部署，提示注入场景表现突出。
2. 政策宽泛、缺少标注数据集场景：零样本决策模型 / LLM评判器更合适，灵活适配多样风险。
3. 决策模型并非万能，Jev没有在两项任务持续碾压分类器与LLM评判器，不能直接作为AI护栏的通用默认方案。

本次基准仅采用英文数据集，相关准确率结论无法直接套用在多语言安全防护场景。Red Hat计划将本次评测里的两款小型分类器内置为OpenShift AI 3.6的默认安全护栏。

要点小结

1. 核心结论：2亿参数DeBERTa分类器笔记本CPU可跑，提示注入识别能力几乎追上35B Qwen，延迟低很多；
2. 任务差异：提示注入任务小分类器占优，宽泛内容安全任务决策模型（Jev）领先；
3. 巨大变量：安全策略、风险描述会显著改变模型准确率，榜单不能直接简单对比；
4. 部署取舍：本地小分类器省去远程网络、GPU开销；决策模型灵活性更强，但效果高度依赖策略编写；
5. 局限：仅英文数据集，不适用多语言场景。