企业人工智能部署已经从试点项目转变为处理客户数据、执行业务交易以及与核心基础设施集成的生产系统。这暴露了人工智能代理能做什么和安全团队能观察或控制什么之间的重大差距。
AIUC-1联盟发布的简报，由斯坦福大学值得信赖的人工智能研究实验室和40多名安全高管提供，记录了2025年出现的安全状况，并预测了2026年最有可能影响组织的风险。贡献者包括来自Confluent、Elastic、UiPath和Deutsche Börse的CISO，以及来自麻省理工学院Sloan、Scale AI和Databricks的安全研究人员和顾问。
根据简报中引用的安永调查，64%的年营业额超过10亿美元的公司因人工智能失败而损失了100多万美元。五分之一的组织报告了与未经授权的人工智能使用相关的漏洞，通常被描述为影子人工智能。
三个安全问题主导着这个领域
简报确定了安全从业人员目前正在处理的三类风险。
第一个是代理挑战。人工智能系统已经从响应查询的助手转移到执行多步骤任务、调用外部工具并在未经人类批准的情况下做出决定的自主代理。这造成了没有任何外部攻击者的失败情况。访问权限过高且遏制边界差的代理可以通过正常操作造成损害。80% 的受访组织报告了有风险的代理行为，包括未经授权的系统访问和不当的数据暴露。只有21%的高管报告了对代理权限、工具使用或数据访问模式的完全可见性。
Databricks副总裁兼现场首席資訊保安官Omar Khawaja指出，AI组件在整個供应链中不斷變化，現有的安全控制假設靜態資產，在行為轉變時造成盲點。
第二类是可见性挑战。2025年使用人工智能工具的员工中有63%将敏感的公司数据（包括源代码和客户记录）粘贴到个人聊天机器人帐户中。平均而言，企业估计有1200个非官方的人工智能应用程序在使用，其中86%的组织报告说，他们的人工智能数据流缺乏可见性。由于检测延迟和难以确定暴露范围，影子人工智能漏洞的成本平均比标准安全事件高出67万美元。
第三个是信任挑战。及时注入从学术研究转移到2025年反复发生的生产事件。OWASP的2025年法学硕士前10名名单将快速注射列前茅。存在该漏洞是因为LLM无法可靠地将指令与数据输入分开。53%的公司现在使用检索增强生成或代理管道，每条管道都引入了新的注入面。
现有的框架不足以应对特定代理的风险
NIST AI RMF和ISO 42001等框架提供了组织治理结构，包括风险委员会和文档要求。它们没有解决CISO代理部署所需的特定技术控制，例如工具调用参数验证、快速注入日志记录或多代理系统的包含测试。
斯坦福大学值得信赖的人工智能研究实验室负责人Sanmi Koyejo承认，目前还不存在比较使用技术特定框架的组织和依赖更广泛治理的组织之间的事件率的大规模纵向研究。他告诉Help Net Security：“AIUC-1仍处于早期采用阶段，人工智能代理安全领域太新兴了，无法进行这种受控的比较。”他的实验室研究发现，仅凭模型级护栏是不够的：72%的案例绕过Claude Haiku的微调攻击，57%的案例绕过GPT-4o。技术特定的控制元件增加了输入验证、操作级护栏和模型级安全缺失的推理链可见性。Koyejo将MFA与传统网络安全中的采用进行了类比，指出具体的、可审计的技术控制以高级别政策承诺无法降低的违规风险。
据Koyejo称，技术基础人工智能安全标准的早期采用者报告说，在受监管环境中部署代理时，采购周期更快，审计准备更清晰，并减少摩擦。Koyejo共同创立的Virtue AI发布了一份关于在金融服务公司AllianceBernstein应用结构化人工智能安全控制的案例研究。
资源持续对抗性测试
简报建议各组织将持续的红队纳入代理业务。1Password首席技术官Nancy Wang表示，缺乏内部人工智能安全专业知识的企业的运营模式应该结合平台默认、自动化和有针对性的专业知识，而不是依赖大型专业团队。
王说：“基线护栏必须建入平台本身。”“沙盒式工具执行、范围和短期凭据、运行时策略执行和综合审计日志记录不应该需要自定义工程。”她说，对抗性测试应该集成到CI和发布工作流程中，以便模型更新、提示更改或代理重新配置自动触发预定义的攻击套件。然后，人类专家调查有意义的delta，而不是手动重新运行整个游戏手册。
王推荐按风险等级分级代理。能够访问敏感数据或生产系统的代理需要持续的对抗性测试和更强的审查门。低风险的代理人可以依靠标准化控制和定期抽样。她说：“目标是让持续验证成为工程生命周期的一部分。”
Koyejo的实验室直接追求自动化问题。对实验室所谓的AutoRedTeamer的研究表明，与天真方法相比，自动攻击选择可以将计算成本降低42%至58%，并具有更广泛的漏洞覆盖范围。他建议资源受限的组织从与部署管道相关的自动持续测试开始，在任何可以访问敏感数据或现实世界工具的代理进入生产之前实施运行时护栏，并有选择地使用人工红团队进行高风险部署。
王指出，在身份和云安全方面，从高级政策声明向可执行控制的转变，如最小特权、短效凭据和范围令牌，在事件发生时，大大减少了横向移动和限制了影响。她说：“拥有严格范围的能力和有时间限制的证书的代理根本无法访问他们从未获得过的东西。”“这是一个具体且可观察到的差异。”
原文链接地址：https://www.helpnetsecurity.com/2026/03/03/enterprise-ai-agent-security-2026/
