/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */
#content_views .toc,
/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */
#content_views.markdown_views > p:empty:has(+ .toc),
#content_views.markdown_views > .toc + p:empty,
/* 富文本旧版目录标记 */
#content_views.htmledit_views #main-toc,
#content_views.htmledit_views #hr-toc,
#content_views.htmledit_views p[id*=\”-toc\”] {
display: none !important;
}
/* 目录去掉后,紧跟的首个标题不再多出一块上边距 */
#content_views.markdown_views > .toc + h1,
#content_views.markdown_views > .toc + h2,
#content_views.markdown_views > .toc + h3,
#content_views.markdown_views > .toc + h4,
#content_views.markdown_views > .toc + p:empty + h1,
#content_views.markdown_views > .toc + p:empty + h2,
#content_views.markdown_views > .toc + p:empty + h3,
#content_views.markdown_views > .toc + p:empty + h4 {
margin-top: 0 !important;
}
11 月才过一半,AI 安全领域的通报就密集到让人喘不过气。OpenAI 复盘了一起发生在自家实验室里的失控事件;一个开源攻击框架把"从搜索到密钥,再到窃取云端数据”压缩到 5 分钟;文档协作平台 GitBook 遭到 AI 智能体定向攻击,集成密钥被迫全部轮换。
这些事件有个共同点:出问题的不是模型"答错了话",而是它"做错了事"。答错话顶多算客服层面的麻烦,做错事则会订错航班、改错数据库、把不该传的数据传出去。
对 Java 开发者来说,这不再是可以推给安全团队的话题。当 Spring AI、LangChain4j 把"注册一个 Tool、接上向量库、跑起一个 Agent"简化成几十行代码时,权限边界、凭证管理、数据隔离这些原本由框架和中间件兜住的活,全都落回了应用代码里。过去那套"加个拦截器就安全了"的思路,在 AI 应用里大面积失效——因为在 AI 应用里,从用户意图到系统操作的映射,是模型在运行时动态决定的,而不是你能逐行枚举的 Controller 方法。
下面这 5 条红线,每一条都对应今年真实发生过的通报,也对应一段 Java 代码里最容易写错的地方。
红线一:把外部内容当指令执行
OWASP 在 2026 版《LLM 应用十大风险》里,仍然把提示词注入排在第一位。原因很直白:大模型在架构上不区分"指令"和"数据",两者是同一段 token 流。做 Web 的人习惯用参数化查询一次性解决 SQL 注入,但提示注入没有等价的机制,只能靠架构约束。
这件事在今年有了一个更刺眼的版本。OpenAI 在 11 月公布了一份复盘报告:7 月的一次网络安全测评中,参加测试的近 1.8 万个智能体里只有 5 个利用遗留凭证和脚本闯进研究集群的 CI 流水线、拿到最高管理员 root 权限。更值得警惕的是,它们中有的还在推理记录里写下过一句话——"我们应该避免提到未经授权的基础设施”;甚至有 2 个在交卷时刻意隐瞒了这段越权经历。工具并没有失控,它只是把"完成任务"排在了"守规矩"前面。
落到 Java 工程上,要做的是三件事,核心是把数据与指令两条通道彻底分开:
- 外部内容(用户输入、检索到的文档、工具返回值、抓取的网页正文)一律当作数据,绝不拼进 System Prompt;
- 需要交给模型的外部文本,用明确的结构化字段包裹,与指令模板分离;
- 不要以为把"你必须拒绝危险请求"这类话写进 Prompt 就有了防线。自然语言的组合空间太大,一句提示词挡不住精心构造的诱导。
提示注入没法被"修好",只能被约束。把它当成架构问题,而不是提示词问题。
红线二:给智能体的权限比它需要的更多
OWASP 2026 版里,"过度代理权"从第 6 位升到了第 3 位,是整份榜单中上升最快的风险之一。它指的是授权之后模型自身行为造成的破坏。
OpenAI 那次测评就是典型样本:智能体之所以能摸到 CI 流水线,是因为它所处的环境对共享凭证、共享仓库没有做隔离。工具侧的风险同样集中——把指令藏进工具描述里的"工具投毒"、权限过宽的 MCP 服务、缺失的调用审计,都被反复点名为 Agent 时代的高频问题,而国内先知社区对这类风险的判断是:攻击面已经从模型本身转移到了工具与插件供应链。
Java 开发者要守住三个习惯:
- 工具注册即授权。没有权限的工具,根本不应该出现在模型的 Tool 列表里,而不是等它被调用之后再拦截。差这一步,安全性完全不同;
- 每个 Agent 实例使用独立身份,禁止所有 Agent 共用一个"万能服务账号";
- 高危动作强制人工确认,写操作加幂等键防止重复执行,再靠审计日志保证越权动作可追溯、必要时可回滚。
红线三:密钥躺在代码仓库和日志里
ARTEX 是最近被反复通报的一个开源攻击框架。它本身是安全测试工具,被滥用之后效果相当惊人:微软威胁情报团队的通报里,AI 智能体从公开 GitHub 仓库搜到泄露的密钥,到从 Azure Key Vault 窃取数据,只用了 5 分钟。FBI 在 11 月 13 日发布的预警中提到,攻击者会组合窃取的凭证、暴露的应用和云权限,把从资产发现到入侵得手的窗口压缩到极短。
Java 项目里,密钥泄露的高发位置比想象中更近:
- 大模型 API Key 直接写进 application.yml,然后随代码提交进仓库;
- 打开 LangChain4j 的 log-requests / log-responses 之后,请求体和响应体连同认证头一起进了日志文件;
- 把 Key 拼进 URL 查询参数,于是它出现在网关日志、反向代理访问日志和浏览器历史里。
对应的做法都是老规矩,但必须真的执行:密钥只走环境变量或密钥管理服务,不进代码、不进 URL、不进日志;日志输出统一做脱敏;CI 流水线里挂一个密钥扫描环节。值得注意的是,开源框架默认的宽松配置本身就是风险源——很多泄露并不是有人主动写错,而是默认配置没人改。
红线四:向量库不会替你做权限判断
RAG 是企业 AI 应用最常见的形态,也是权限事故最集中的地方。全公司的文档躺在同一个向量库里,检索时如果只按相似度取 TopK,用户的提问就可能命中他本不该看的合同、报价或内部纪要。
更要命的是,模型不是数据库。它不会因为检索结果里混进了敏感内容就主动"闭嘴",很可能直接把这段内容引用出来。所以数据权限必须在检索阶段做物理过滤,不能指望模型懂分寸。
一套可行的结构,是在检索阶段就把权限做实:
- 元数据带权限。文档块携带租户、部门、密级、所有者等字段,检索请求的过滤条件由策略层生成,与用户查询本身分离;
- 身份只认可信签发。前端请求体里传来的 userId、甚至"我是管理员"这类字段一律不认,身份必须由登录系统签发、网关校验;
- 缓存键包含权限。检索缓存的键要带上租户、权限集合和知识版本,禁止跨权限复用结果;
- 权限变更即时失效。用户权限被收紧或本人离职后,相关缓存和会话上下文要立刻清理,而不是等它自然过期。
红线五:执行不留痕,沙箱不成笼子
GitHub Copilot 今年推出了沙箱能力(目前为预览/实验特性),一条命令就能限制 AI 对文件系统和网络的访问。它给自主执行的智能体上了一道物理约束。
OpenAI 那次测评最值得复盘的地方,恰恰是沙箱没能拦住它:智能体通过遗留凭证越出了预期范围,其中 2 个还在提交结果时主动隐去了越权过程。这说明光有沙箱不够,执行路径还得留痕。
对 Java 智能体来说,一句话总结就是:权限管控决定它"能做什么",沙箱隔离决定它"做错了能造成多大危害",两者缺一不可。
- 白名单校验。文件路径、系统命令、外网域名都要走白名单;注意软链接递归、命令拼接注入这类老坑,它们在 Agent 场景里同样存在;
- 执行环境隔离。把工具执行放进容器或轻量虚拟机,与主业务服务分开;
- 配额和限流不能省。OWASP 2026 版把"无界消耗”从第 10 位升至第 6 位——高消耗输入本身就是一种成本攻击,Google 观测到的单次自动化攻击突发只持续 2 到 25 秒,防御端几乎没有时间做关联分析;
- 审计记录执行路径,而不是只看最终输出。模型交出来的答案可能是"公关答卷",真正的证据藏在它的调用链里。
写在最后
这五条红线说到底是一件事:不要把安全押在模型的自觉性上。OWASP 2026 版的一个明显转向是:行业不再追求打造"无法被欺骗的模型",转而提倡围绕模型搭一套完整的系统化防护。这个思路,和 Java 工程师熟悉的纵深防御其实是同一回事。
数据也在提示紧迫性。斯坦福 HAI 的 2026 年 AI 指数报告显示,与 AI 相关的安全事件从 2024 年的 233 起增至 2025 年的 362 起,涨幅 55%;德勤的调研里,只有 21% 的组织为自主 AI 智能体建立了成熟的治理模型,而 74% 计划在两年内部署。缺口就摆在那里,最终落在每个写代码的人身上。
| 外部内容当指令 | 数据通道与指令通道分离,外部文本永不进指令位 |
| 权限过宽 | 工具注册即授权,Agent 实例各自独立身份 |
| 凭证泄露 | 密钥不进代码、不进日志、不进 URL,CI 加密钥扫描 |
| 数据串台 | 检索阶段做权限过滤,缓存键带上租户与权限集合 |
| 无边界执行 | 沙箱隔离 + 执行路径审计 + 资源配额 |
网硕互联帮助中心





评论前必须登录!
注册