Immuta CISO预测大型企业在18个月内发生重大人工智能事件

在这次Help Net Security采访中,Immuta的首席信息官Michael Scott谈到了组织应该如何处理人工智能代理的权限。他认为,代理应该被视为信任度较低的身份,不会继承其用户可以访问的所有内容。

Scott解释了为什么代理特权蠕变与人类不同,权限应该如何传递给子代理,以及为什么仅凭身份验证并不能确保代理的所作所为。他预测,人工智能部门以外的至少两家大企业将在18个月内遭受与人工智能相关的重大事件。

人工智能代理权限
当您审核公司的代理部署时,您首先检查什么权限,以及它多久在不应该存在的时候?

关于代理,我想知道的第一件事是它在什么身份下运行,以及该身份是专用于代理还是基于用户权限。

代理拥有过多权限的情况并不少见,特别是当代理使用用户的凭据时,凭据可能因用户而异。例如,代理可以利用对非人类用户无意目标的其他资源的访问,例如可用的API。

我认为我们需要开始将代理人视为信任度较低的身份。他们不是人,所以他们不一定像人类那样处理任务。他们可以找到方法来完成最初授予权限时没有人预料到的事情。

我想知道代理可以访问什么以及为什么,以及这些权限在工作完成后是否会消失。代理不应该仅仅因为有一天可能会再次需要它而保留广泛的访问权限。

安全团队已经在为人类的特权爬行而挣扎。代理特权蠕变是同样的问题,进展得更快,还是不同的问题?你看到了什么,这样或那样的观点?

我把它看成是一个不同的问题。对于员工,特权的 creep通常会逐渐发生。有人进入新角色或获得临时项目的访问权限,这些权限在需要后很长时间都会保留。这是一个安全团队知道如何识别的问题,即使他们并不总是很会解决它。

代理人引入了一定程度的不可预测性,这使得这更加困难。代理可能代表几名员工工作,每位员工都拥有不同的权限。它还可能创建另一个代理来处理部分任务。突然间,您正在处理原始代理部署时没有预料到的访问决定。

在我们的测试早期,很明显,我们需要对代理工作区进行更多的控制。为了支持员工构建的代理,我们投资了一个多模型人工智能平台/工作区,该平台为Immuta提供了内部管理的护栏,以降低代理具有过度特权的风险。代理在发布和批准新集成之前必须经过审查和治理过程。我们还投资了对所有员工的持续人工智能培训,因为当他们的代理行为不端时,他们通常是第一个注意到的人。

我一直在思考的一件事是,假设代理应该与使用它的人一样受到信任。我不同意那个。即使员工被授权访问某些信息,代理也不应该自动获得所有这些特权,因为代理的操作方式不同,可能会探索解决人类不会解决的问题的新方法,或者看到人类可能忽略的联系。

当代理将工作交给子代理或第三方工具时,授权应该如何传递给链条?你是否见过没有人能够重建谁批准了最终行动的授权链?

代理不应该仅仅因为正在移交任务就移交所有权限。下一个代理只应有权访问它完成该工作所需的内容,这些权限不应超出任务本身。

我担心的是,你多久会忘记谁对一项行动负责。员工可能会要求代理人做一些完全合法的事情。然后,该代理可以引入另一个代理或使用外部工具来帮助完成工作。当工作完成时,原来的员工可能不知道沿途访问了哪些系统。如果出了问题,安全团队必须处理什么?如果您只有显示服务帐户访问了敏感数据的日志,这不会告诉您谁授权了它或为什么需要它。

我认为,随着代理商开始更独立地工作,我们会看到更多这种情况。安全团队需要能够遵循该授权链,一直回到原始请求。否则,你让代理人有能力做出事后没有人能正确解释的决定。

这个市场上哪些供应商的主张让你最怀疑,买家应该问什么问题来克服它们?

当供应商建议管理代理的身份足以保护其工作时,我持怀疑态度。

知道代理是合法的并不一定意味着应该允许它访问它要求的任何数据。您可以有一个经过适当身份验证的代理,但仍然没有充分的理由允许它访问敏感信息。

我看到的挑战之一是,安全团队并不总是全面了解数据是如何使用的。作为一名首席信息安全官,我可以评估风险并实施控制措施,但我不一定知道特定数据集是否适合特定业务任务。这些知识通常与数据所有者有关,他们的意见需要反映在访问决策的制定方式中。

我会要求供应商向我展示当授权代理请求它正在执行的任务不需要的数据时会发生什么。系统真的可以阻止这种访问吗,还是它只会事后告诉我?

知道代理人做了什么和能够控制它被允许做什么之间有很大的区别。

给我一个关于未来18个月代理授权的预测,你会把你的名字放在上面并被持有。

在接下来的18个月里,人工智能部门以外的至少两家大型企业将经历与人工智能相关的重大安全或隐私事件。在急于竞争优势、提高生产力和降低成本的驱使下,组织将在没有充分安全保护的情况下部署高风险的自主代理。

我担心的是,公司正在赋予代理人访问敏感信息的能力,并在他们弄清楚如何正确控制敏感信息之前做出决定。代理可能使用合法的凭据操作,但这并不意味着它使用这些权限所做的一切都是适当的或授权的。

随着这些系统变得更加自主,它们将暴露出传统企业的沉重技术债务。我希望我们会看到组织艰难地了解到,他们多年来依赖的访问控制不一定能够处理独立运营的代理。

图片[2]安全114-安全在线-安全壹壹肆-网络安全黄页-网络安全百科Immuta CISO预测大型企业在18个月内发生重大人工智能事件安全114-安全在线-安全壹壹肆-网络安全黄页-网络安全百科网络安全百科-网络安全114-网络安全在线-网络安全黄页

下载:人工智能采用的IT和安全领域指南

参考链接地址:https://www.helpnetsecurity.com/2026/10/15/michael-scott-immuta-ai-agent-permissions/

© 版权声明
THE END
你的支持是我们在网空安全路上的驱动力!
点赞9 分享