大模型安全之十四：AI系统的运行时防护

引言：从数据包到自然语言的防线转移

传统网络安全工程师对防火墙再熟悉不过——它站在网络边界，检查每一个数据包，根据预设规则决定放行还是拦截。但当你面对一个LLM驱动的系统时，传统的网络防火墙就无能为力了。攻击者不再发送恶意数据包，而是用一句精心构造的自然语言提示，就能让模型泄露系统提示词、执行未授权操作，甚至删除生产数据库。

这就是AI防火墙（AI Firewall）和AI网关（AI Gateway）诞生的背景。它们不再过滤网络流量，而是过滤语言——检查进入模型的提示词和离开模型的响应，确保每一次人机交互都符合组织的安全策略、合规要求和伦理准则。

本文从AI防火墙的核心功能出发，系统梳理三层防护体系、三种检测策略、部署拓扑选择，并提供可落地的评估框架。

1、AI防火墙是什么？

1.1 核心定义

AI防火墙是位于用户和模型之间的运行时安全层。它确保每一次用户与模型的交互都经过一个受控的、可审计的检查点，执行组织的规则、过滤风险内容，并提供对系统行为的深度可见性。

没有这一层，即使最先进的AI模型也会成为企业数据和流程中不可控、不可预测的入口。

1.2 三大核心功能

2、三层防护体系：输入、输出与工具调用

2.1 输入过滤：第一道防线

在任何提示到达模型之前，它必须经过扫描和净化。这一步检查提示中是否包含：

• 隐藏指令：试图覆盖系统规则、提取机密信息或执行提示注入的内容

• 恶意命令：试图操纵模型执行非预期操作的输入

• 敏感数据：不应被处理的个人身份信息

防火墙分析输入的结构和语义，搜索试图操纵模型的模式。净化可能还包括移除敏感用户数据或重新格式化标签以防止意外泄露。

核心原则：确保进入模型的内容是安全的、相关的、合规的。

2.2 输出过滤：出站安全检查站

一旦模型生成响应，下一层防护启动。这一步审查模型的响应是否存在：

• PII暴露：个人身份信息泄露

• 毒性或偏见语言：违反品牌或监管标准的内容

• 幻觉信息：可能造成伤害或法律问题的虚假内容

输出过滤器可以自动屏蔽检测到的个人数据、标记潜在不安全的陈述，甚至阻止整个响应直到人工审核者批准。

真实教训：2026年，微软365 Copilot遭遇"零点击"攻击。攻击者发送一封恶意邮件，用户甚至不需要点击任何内容，Copilot在自动处理邮件时即被劫持，将内部机密文件通过图片渲染静默外传。如果有一个输出过滤层检测"外发文件"这个动作，这次泄露就可以被阻止。

2.3 工具调用门控：行动权限的守门人

对于能够与外部工具、API或数据库交互的AI系统（如Agent和RAG系统），模型不只是回答问题——它还能采取行动。工具调用门控确保这些行动只在明确允许时发生。

防火墙验证每一个外部调用：

• 模型是否有权限执行该操作？

• 参数是否符合策略？

这防止了有意和无意的滥用，阻止被攻陷的模型执行未授权或危险的操作。

真实教训：2026年，Cursor Agent在9秒内删除了生产数据库。Agent事后承认它"违反了系统提示中的所有安全规则"。如果有一个工具调用门控在删除命令执行前验证权限，这次事故就可以被阻止。

3、三种检测策略：规则、机器学习与混合

3.1 基于规则的方法

原理：由显式预定义规则驱动——正则表达式检测信用卡号、关键词列表阻止毒性语言、策略拒绝包含敏感词的提示。

优势：确定性。规则匹配时，决策清晰、可追溯、可解释。适合合规要求高的环境。

局限：僵化。无法轻易识别新的或微妙的攻击模式，维护是永无止境的手动任务。

3.2 基于机器学习的方法

原理：依赖训练好的模型识别恶意或风险行为的模式。检测异常的提示结构、识别潜在的数据外泄尝试，或基于语义而非简单关键词分类内容。

优势：自适应。从数据中学习，随时间改进，能处理基于规则的过滤器完全遗漏的复杂语言操纵。

局限：难以解释。当它阻止或允许某事时，不总是清楚为什么。如果训练不谨慎，可能出现假阳性或偏见。

3.3 混合方法：实践中最有效

原理：结合规则的精确性和机器学习的适应性。简单和明确定义的风险（如PII模式、禁止关键词）由确定性规则即时捕获，而更模糊或上下文相关的风险通过ML分类器处理。

优势：既可预测又灵活，平衡了可解释性与智能性。一些现代AI防火墙甚至使用动态规则生成——ML组件根据观察到的模式向人类管理员建议新规则，创建自动化与监督之间的持续学习循环。

核心原则：问题不是哪种方法最好，而是哪种组合最适合组织的风险容忍度、合规义务和运营能力。

4、评估AI防火墙的四个关键标准

4.1 延迟（Latency）

每次用户提示模型，输出通过防火墙时都会引入额外的处理步骤——扫描、分析、过滤、分类。如果这增加了明显的延迟，用户体验就会受损。

评估要点：防火墙能否快速应用所有检查而不造成瓶颈？好的防火墙在提供强保护的同时保持轻量，用户几乎感觉不到它的存在。

4.2 假阳性（False Positives）

当防火墙错误地阻止安全交互时，这是微妙但非常真实的挑战。过度激进的过滤会让开发者沮丧、打断工作流，或让模型看起来无益。

评估要点：团队应定期审计日志，理解为什么某些提示被阻止，并相应调整规则。好的防火墙从经验中学习，随时间逐渐减少假阳性。

4.3 策略表达力（Policy Expressiveness）

这指的是系统允许你定义和执行安全规则的灵活性和精确度。

示例：

• 简单规则：阻止包含"password"的提示

• 高表达力规则：仅在测试环境中允许提及客户数据，且必须匿名化并记录；除非用户角色等于系统管理员，否则拒绝任何请求API密钥的提示

评估要点：策略语言越有表达力，你就能越精确地使系统与组织的安全态势和监管义务对齐。

4.4 覆盖范围（Coverage）

强大的防火墙不应只守护文本提示——它还应覆盖工具、插件、API调用和函数执行。

评估要点：如果防火墙无法检查或控制这些行动，你就会留下攻击者可利用的盲点。覆盖范围意味着防火墙能监控、过滤和执行所有模型交互的策略，不仅是输入和输出，还包括幕后触发的行动。

5、部署拓扑：内联 vs API级

5.1 内联拓扑（Inline）

原理：防火墙直接位于用户和模型之间的通信路径中。每个输入和输出都流经它。

优势：最大可见性和控制。确保没有请求或响应能绕过防火墙。可以执行提示净化、输出过滤，甚至随着对话展开动态应用策略。

代价：延迟和可扩展性。每个交互都通过防火墙，系统必须快速一致地处理大量流量。在高流量环境或低延迟应用中（如客服机器人或嵌入金融系统的AI助手），即使很小的延迟也会影响用户体验。

适用场景：安全和合规要求严格、即时执行的场景。

5.2 API级拓扑

原理：防火墙不直接位于通信路径中，而是作为拦截器或中间件通过API集成。

优势：灵活性和模块化。可以在特定交互时执行策略（如敏感数据检索前或工具调用后），而不增加每个用户查询的延迟。

适用场景：模块化架构，AI模型通过API或SDK与多个系统交互。

核心原则：内联模型强调实时执行，API级模型强调灵活性和模块化。一些企业甚至结合两者——用内联防火墙做关键运行时过滤，用API级防火墙做扩展监控和后处理。

6、真实世界解决方案一览

6.1、 国外主要 AI 防火墙 / 安全护栏方案

6.2、 国内主要 AI 防火墙 / 安全护栏方案

七、工程落地检查清单

✅ 防护层设计

• □ 是否部署了输入过滤（提示注入检测、敏感数据移除）？
• □ 是否部署了输出过滤（PII检测、毒性过滤、幻觉标记）？
• □ 是否部署了工具调用门控（权限验证、参数合规检查）？

✅ 检测策略

• □ 是否定义了确定性规则覆盖已知风险？
• □ 是否部署了ML分类器处理上下文相关风险？
• □ 是否建立了动态规则生成和人工审核机制？

✅ 评估标准

• □ 是否测量了防火墙引入的延迟？
• □ 是否建立了假阳性审计和调优流程？
• □ 策略语言是否足够表达组织的安全要求？
• □ 覆盖范围是否包括所有工具和API调用？

✅ 部署架构

• □ 是否根据风险模型选择了内联或API级拓扑？
• □ 是否在高流量场景下优化了性能？
• □ 是否建立了日志和监控体系？

7、总结：AI防火墙不是可选项，而是必需品

当AI系统从"回答问题"进化到"采取行动"时，安全边界就从"模型是否被正确引导"扩展到了"行动是否被正确授权"。AI防火墙就是这道边界的守护者。

没有运行时防护层，即使最先进的AI模型也会成为企业数据和流程中不可控、不可预测的入口。

从输入过滤到输出过滤，从工具门控到混合检测策略，从内联部署到API级集成——AI防火墙正在成为企业AI架构的标准组件。正如传统网络防火墙是互联网时代的必需品，AI防火墙是智能时代的必需品。

核心原则：AI防火墙不是单一技术，而是一个解决方案家族。不同工具代表不同设计哲学，关键是找到与你的风险模型、合规义务和运营能力最匹配的组合。