Appearance
AI 与大模型安全指引
适用版本：v2.0 · 2026-07-14 本指引系统梳理 AI 与大模型（含 AI Agent）安全的核心理念、风险维度、典型案例、行业标准与应对策略，为企业安全自查提供理论依据。
一、核心理念
1.1 从「最小权限」到「最小 Agent」
传统软件安全的核心原则是最小权限（Least Privilege）——只授予完成任务所需的最小权限。在 AI 智能体时代，这一原则需升级为最小 Agent 原则（Least Agency）：
- Agent 的自主性本身即是风险源。部署不必要的 Agent 行为、允许 Agent 在无人类确认下自主调用高风险工具，都会扩大攻击面。
- 微小的漏洞在 Agent 的自主决策链中可能被放大为系统级灾难。2026-07 JADEPUFFER 事件已证明 Agent 可在零人工干预下自主完成完整勒索攻击链。
推论：能用更简单工具完成的任务，不应交由 Agent；能用低自治度 Agent 完成的任务，不应交由高自治度 Agent。
1.2 可观测性不可协商
Agent 的行为具有不确定性（目标→推理→行动的概率性路径），传统软件的"输入→输出的确定映射"假设失效。因此：
- 必须清楚知道 Agent 在做什么：完整的行为留痕
- 必须知道 Agent 为什么这样做：推理链可追溯
- 必须知道 Agent 调用了哪些工具：调用链可审计
缺乏可观测性，事故发生后将面临"发现慢、查不清、止不住"三重困境。
1.3 四个可：安全治理的最终目标
AI Agent 安全治理的最终目标可归纳为「四个可」：
| 目标 | 含义 |
|---|---|
| 身份清晰 | 每个 Agent 具备可识别的数字身份，而非沿用人类账号 |
| 权限可控 | 动态授权与权限围栏，任务级最小权限 |
| 行为可溯 | 全链路审计与追踪，不可篡改 |
| 风险可防 | 覆盖供应链、运行、网络与终端的纵深防护 |
1.4 本地不等于安全
2026-03 ClawJacked 漏洞打破了"本地运行的 Agent 比云端更安全"的认知——攻击者仅需诱导用户访问恶意网站，即可通过 WebSocket 零点击接管本地 Agent。Agent 的本地接口鉴权缺陷成为远程接管入口，本地接口的安全要求等同于远程接口。
二、风险维度分类
AI 与大模型安全风险可按来源划分为 7 大维度，按优先级标注 P0（最高）至 P3（最低）：
2.1 模型自身内生安全 [P1]
模型原生缺陷带来的风险，与部署方式无关：
- 对齐与幻觉：编造虚假事实、价值偏移、多模态幻觉，在医疗 / 金融 / 司法场景会造成实质性损失
- 对抗攻击：提示注入（直接 / 隐式 / 记忆投毒 / 凭证窃取四类）、越狱攻击、对抗样本、数据投毒、模型后门
- 模型泄露：权重窃取、训练数据泄露、指令泄露、版权侵权
- 鲁棒性：输入歧义导致输出崩溃、长上下文遗忘、多模态识别漏洞
2.2 数据安全 [P2]
贯穿数据全生命周期的隐患：
- 训练数据：未授权采集敏感信息、脱敏不彻底、数据污染
- 用户数据：对话日志明文存储、第三方滥用
- 数据跨境：违反数据出境与个人信息保护法规
2.3 应用与业务安全 [P0]
落地使用层的风险，是当前最高优先级：
- 生成内容作恶：虚假信息、深度伪造、有害内容自动化产出、自主攻击链
- 业务系统入侵：外部组件供应链（Skills / Plugin / MCP 12% 恶意率）、CUA 特权失控、Agent 本地接管、Agent 误操作破坏、业务系统越权调用、非预期代码执行、Agent 间通信劫持
- 行业专项：金融（虚假财报 / 信贷欺诈）、医疗（错误诊疗）、政务司法（伪造文书）、教育（代写作弊）
NVDB 四大应用场景风险画像：
| 场景 | 主要风险 |
|---|---|
| 智能办公 | 供应链攻击、内网横向扩散 |
| 开发运维 | 非授权执行命令、设备劫持 |
| 个人助手 | 权限过高、提示注入接管 |
| 金融交易 | 记忆投毒、账户接管、失控下单 |
2.4 网络与基础设施安全 [P1]
- 算力平台攻击：DDoS、漏洞渗透中断 AI 服务
- 向量数据库：注入恶意向量、窃取知识库
- 网络出口失控：Agent 直连外部站点，数据外泄与反弹 Shell 主要通道
- SSRF 攻击：Agent 被诱导访问内网服务（元数据接口、内部管理后台）
- 沙箱隔离不足：仅沙箱化命令行不够，IDE 及衍生进程需全部隔离
- 多 Agent 级联故障：单 Agent 失陷通过调用链扩散
2.5 伦理与社会安全 [P3]
- 歧视与公平性：地域、性别、年龄歧视，放大社会偏见
- 算法操纵：定向推送极端内容、操控舆论
- 信任危机：深度伪造泛滥导致公众无法分辨真假
- 自主决策：自动驾驶、智能调度失误引发事故
- 人机信任利用：利用人类对 AI 的"权威偏见"诱导批准不安全操作
2.6 合规与法律安全 [P2]
- 个人信息违法：违反《个人信息保护法》
- 生成内容违法：制作淫秽、暴力、造谣内容
- 知识产权违规：无授权训练、生成侵权作品
- 监管合规：未完成大模型备案、安全评估即上线
- 责任界定模糊：AI 生成内容造成损失时责任划分不清
2.7 组织运营安全 [P1]
- 内部人员滥用：运维 / 算法人员导出模型或用户数据
- 第三方合作风险：外包标注、云服务商违规使用训练数据
- 审计溯源缺位：无访问审计、无内容审核、无应急流程
- 凭据管理粗放：宿主机环境变量整盘丢给 Agent
- 沙箱生命周期缺失：沙箱长期运行导致数据累积
- 供应链后门：开源框架、训练数据集植入后门；商业 AI 工具被供应商植入后门
- 智能体 IAM 缺失：Agent 沿用人类账号，责任无法界定
- 影子 AI：员工未经批准私自使用 AI 工具或部署 Agent
三、典型安全问题案例
3.1 自主攻击型
JADEPUFFER 自主攻击链（2026-07）
代号 JADEPUFFER 的 AI Agent 从漏洞扫描到数据库加密全程零人工干预，自主完成侦察→利用→横向→勒索完整攻击链。无人类黑客参与、无暗网交易、无勒索信，全程由算法完成。
意义：突破了"AI 仅生成内容、人执行"的传统假设，证明 Agent 自主攻击能力已达实战级别。
3.2 本地接管型
ClawJacked 本地 Agent 接管（2026-03）
Oasis Security 披露 OpenClaw 高危漏洞（CVE-2026-25253）。攻击者诱导用户访问恶意网站，通过 WebSocket 零点击接管本地运行的 AI Agent，窃取 API 密钥、聊天记录。同期被披露的还有 CVE-2026-25593（零点击暴力破解 + 自动注册设备）和 CVE-2026-24763（远程代码执行）。
意义：打破了"本地 = 安全"的认知，Agent 本地接口鉴权缺陷成为远程接管入口。
3.3 误操作破坏型
Google Antigravity 删库惨案（2026-01）
用户指令 Google Antigravity（Gemini 驱动）清理项目里的 node_modules 文件夹。Agent 因 path-parsing failure 将一个空格解析为通配符，执行了覆盖全盘的不可逆删除，整个系统盘毫秒间被清空。被 Google 定性为 P0 级灾难。
意义：非恶意攻击，但因路径解析缺陷 + 过度授权导致不可逆数据破坏，破坏力等同恶意攻击。
3.4 越权调用型
Meta AI 客服越权事件（2026-07）
黑客诱导 Meta AI 客服批量更改 Instagram 账号绑定邮箱，导致数千账号在灰色市场被倒卖，涉及奥巴马白宫官方账号等核心用户。Agent 接入业务系统后未设频率限制与操作白名单。
意义：AI 客服 Agent 接入业务系统后，可被诱导执行批量越权业务操作，风险远超传统客服系统。
3.5 供应链攻击型
ClawHub 恶意 Skills 审计（2026-02）
对技能市场 ClawHub 的 2,857 个 Skills 审计发现 341 个恶意 Skills，约占 12%。恶意 Skills 的入侵路线包括安装时执行任意脚本、运行时通过 SDK 访问配置和会话。
意义：外部组件（Skills / Plugin / Connector / MCP）是供应链攻击的主要入口。
Claude Code 人为植入后门（2026-07）
工业和信息化部 NVDB 将 Claude Code 2.1.91~2.1.196 人为植入后门定性为「危害严重」。商业 AI 工具被供应商或内部人员植入后门，企业默认信任商业产品的基础被打破。
意义：不能因"商业产品"默认信任，需建立版本跟踪、行为审计与禁用清单机制。
3.6 数据外发型
OpenClaw 机密文件外发（2026-07）
安全研究员披露 OpenClaw 连环安全事故，机密文件被 Agent 直接发送到公网。Agent 持有与用户等同的权限与凭证，被诱导执行外发操作。
意义：Agent 拥有与用户等同的权限是事故根因，需通过最小权限 + 网络出口控制 + 关键操作人工确认三重防线。
3.7 案例规律总结
| 攻击模式 | 根因 | 共性启示 |
|---|---|---|
| 自主攻击 | Agent 自治度过高 | 工具链 + 执行边界 + 网络出口三重收敛 |
| 本地接管 | 本地接口鉴权缺失 | 本地接口安全要求等同远程接口 |
| 误操作破坏 | 路径解析缺陷 + 过度授权 | 危险操作强制人工确认 + 工作区隔离 |
| 越权调用 | 业务操作无频率限制 | 频率限制 + 操作白名单 + 异常熔断 |
| 供应链攻击 | 外部组件未审查 | AIBOM + 依赖门控 + 运行时验证 |
| 数据外发 | 权限等同用户 | 最小权限 + 网络出口控制 |
四、行业标准
4.1 OWASP Agentic AI Top 10 2026
OWASP 针对智能体应用的十大安全风险，核心理念为「最小 Agent 原则」：
| 编号 | 风险 | 要点 |
|---|---|---|
| ASI01 | 目标劫持 | 改变 Agent 既定目标、任务选择或决策路径 |
| ASI02 | 工具滥用 | 不安全地使用合法工具，过度特权 |
| ASI03 | 身份特权滥用 | Agent 缺乏独立身份，过度继承用户权限 |
| ASI04 | 供应链漏洞 | 第三方组件（模型 / 工具 / MCP）被篡改 |
| ASI05 | 非预期代码执行 | Agent 生成并执行攻击者指定的恶意代码 |
| ASI06 | 记忆与上下文投毒 | 污染长期记忆、RAG 向量库 |
| ASI07 | 不安全 Agent 间通信 | 缺乏加密、完整性校验、身份验证 |
| ASI08 | 级联故障 | 单 Agent 故障通过网络传播 |
| ASI09 | 人机信任利用 | 利用"权威偏见"诱导批准不安全操作 |
| ASI10 | 失控 Agent | 行为偏离既定目标（对齐漂移） |
4.2 Gartner 2026 六大网络安全趋势
- IAM Adapts to AI Agents：IAM 从"人的治理"扩展为"人与机器的双重治理"，2026 年底 40% 企业应用将内置 Agent
- Agentic AI Demands Oversight：Agent 安全监管成为独立趋势
- AI-Driven SOC Solutions：AI 驱动的安全运营中心演进
4.3 NVDB（工信部）「六要六不要」
| 建议 | 要点 |
|---|---|
| 使用官方最新版本 | 从官方渠道下载，开启自动更新 |
| 严格控制互联网暴露面 | 定期自查，一旦发现立即下线整改 |
| 坚持最小权限原则 | 最小权限 + 高危操作二次确认 + 容器隔离 |
| 谨慎使用技能市场 | 安装前审查代码，拒绝下载 ZIP / 执行脚本 |
| 防范社工与浏览器劫持 | 浏览器沙箱 + 网页过滤器 + 日志审计 |
| 建立长效防护机制 | 定期修补漏洞 + 关注官方安全公告 |
4.4 NVIDIA AI 红队 2026-02 沙箱化指南
针对 CUA（Computer Use Agents）特权失控的防护指南：网络出口控制 + 工作区外写拦截 + 配置文件锁定 + 凭据按需注入 + 沙箱生命周期管理。
4.5 2026 数智化转型安全实践指南
中国信通院 + 华为联合发布，「端到端、分层解耦」治理框架，以基础设施、数据、模型、Agent 应用四大技术支柱为支撑，通过安全运营管理统一编排。
4.6 NIST AI RMF（AI 风险管理框架）
美国国家标准与技术研究院发布，四大核心功能：治理（Govern）/ 映射（Map）/ 度量（Measure）/ 管理（Manage）。
4.7 ISO/IEC 42001（AI 管理体系）
AI 管理体系国际标准，规定建立、实施、维护、持续改进 AI 管理体系的要求。
4.8 CSA Agentic IAM 框架
云安全联盟 2025-08 发布，指出传统 OAuth 2.1 / SAML / OIDC 在智能体环境中存在结构性缺陷，提出采用去中心化标识符（DID）与可验证凭证（VC）管理 Agent 身份。
4.9 OWASP GenAI Security Project 八大倡议
Top 10 / 威胁情报 / 治理 / AIBOM / Agent 安全 / 数据安全 / 红队评测 / 安全方案，可作为持续追踪的资源导航。
五、应对策略与方案
5.1 五层纵深防御体系
AI 安全防护应建立五层纵深防御，每层聚焦不同风险点：
| 防御层 | 核心目标 | 关键措施 |
|---|---|---|
| 输入防御层 | 阻断恶意指令进入 Agent | 外部内容沙箱化 + 注入检测 + 策略校验 + 配置文件锁定 |
| 权限控制层 | 限制 Agent 可做的事 | 最小权限 + 按需注入凭据 + 工具链可达性收敛 + 业务操作白名单 |
| 执行边界层 | 防止 Agent 造成不可逆破坏 | 高危操作人工确认 + 工作区隔离 + 沙箱执行 + 路径白名单 |
| 审计追溯层 | 事故后可查可追可止 | 全链路留痕 + 不可篡改存储 + Kill Switch + 行为基线监控 |
| 组织治理层 | 从制度上管控 Agent 全生命周期 | 智能体 IAM + 影子 AI 治理 + 商业工具治理 + 应急响应 |
5.2 输入防御层
提示注入防护：
- 多层防御：输入过滤 + 注入检测 + 策略校验 + 沙箱化外部内容
- 配置文件锁定（
.cursorrules/CLAUDE.md/AGENT.md） - MCP 响应签名验证 + 仓库来源白名单
MCP 安全治理：
- MCP 接入层强制输入校验、工具签名、调用鉴权
- 工具描述沙箱化解析 + CVE 持续跟踪 + 定期渗透测试
5.3 权限控制层
CUA 特权收敛：
- 最小权限 + 按需注入环境变量 + 任务结束自动清理
- 配置文件锁定 + 拒绝「一次允许永久有效」
智能体 IAM：
- 每个 Agent 独立数字身份 + 任务级动态授权
- 短效令牌（JIT Token）+ 意图绑定
- 传统 OAuth/SAML 需扩展为 Agentic IAM（DID + VC）
业务系统越权调用防护：
- 频率限制 + 操作白名单 + 异常行为熔断
- 高风险业务操作人工审批
5.4 执行边界层
自主攻击链防护：
- 工具链可达性收敛 + 执行边界限制 + 网络出口收敛（三重收敛）
- Kill Switch：一键切断 Agent 权限或隔离
- 行为基线监控：偏离预设宣言立即报警
Agent 误操作破坏防护：
- 删除 / 覆盖 / 外发类操作强制人工确认
- 工作区隔离：限制 Agent 仅能操作指定目录
- 操作回滚机制：快照 + 回收站 + 操作日志可回放
- 路径白名单 + 危险命令拦截
非预期代码执行防护：
- 禁用生产环境
eval() - 生成代码在无网络、资源受限的隔离容器中运行
- 高风险代码执行前人工审核 + 依赖包白名单
Agent 本地接管防护：
- 本地接口强鉴权 + Origin 校验 + 绑定回环地址
- WebSocket 连接来源白名单 + 禁止跨域接管
5.5 审计追溯层
完整留痕：谁调用、调用什么、做什么、凭什么（4 类事件必记录）
不可篡改存储：WORM + 数字签名 + 可回放
凭据生命周期：按需注入 + 任务结束立即清理 + 定期轮换
沙箱生命周期：定期重置或使用临时沙箱，防止数据累积
多 Agent 级联故障防护：调用隔离 + 故障熔断 + 爆炸半径控制
5.6 组织治理层
影子 AI 治理：
- AI 资产清单：全面盘点已部署的 Agent 与大模型调用接口
- Agent 部署审批流程：上线前安全评估
- 出站流量监测：拦截向公开 AI 模型发送敏感数据的行为
- 统一文件权限系统：Agent 接入统一权限，避免过度授权
商业 AI 工具治理：
- 版本跟踪 + 行为审计 + 禁用清单
- 供应商安全评估 + 替代方案预案 + 官方通报订阅
外部组件供应链治理：
- AIBOM（AI 软件物料清单）：验证组件数字签名与来源
- 依赖门控：仅允许白名单内经过验证的工具和 Agent 源
- 运行时验证：持续监控组件哈希值和行为
应急响应：
- 事件分级 + 7×24 值班 + 演练 + 监管报送 + 司法联动 + 复盘改进
- 常态化红队 + 漏洞赏金 + 演练改进闭环
5.7 网络与基础设施防护
网络出口控制：HTTP 代理 + IP / 端口白名单 + DNS 解析限制 + 异常外联告警
SSRF 防护：内网地址黑名单 + 元数据接口 IMDSv2 保护 + 响应内容过滤 + DNS 重绑定防护
沙箱隔离：IDE 自身 + 衍生进程全部沙箱化 + 高级威胁采用内核级隔离（Kata / 完整虚拟机）
5.8 合规与法律防护
设计即合规：设计阶段嵌入数据最小化、可审计性、可干预性
监管合规：完成大模型备案 + 年度安全评估 + PIPL 全流程合规
责任界定：产品责任险 + 用户协议 + 责任矩阵 + 司法鉴定通道
六、7 个 P0 动作
完成以下 7 个动作即可阻断 80%+ 已知 AI Agent 攻击路径：
- 关闭
dangerously配置 + 启用沙箱（capDrop=ALL） - 收紧网络出口：HTTP 代理 + IP 白名单 + 内网地址黑名单（防 SSRF）
- 锁定 IDE / MCP /
.cursorrules等配置文件 - 收敛 Agent 工具链可达性 + 高危操作人工确认（防自主攻击链 + 误操作）
- 建立商业 AI 工具版本跟踪与禁用清单（防供应商后门）
- Agent 本地接口强鉴权 + Origin 校验 + 绑定回环地址（防 ClawJacked 接管）
- Agent 业务操作实施频率限制 + 操作白名单 + 异常行为熔断（防越权调用）
战术口诀
「外部输入皆敌意、高危操作必留人、凭据按需不外带、Agent 行为全留痕」