Schneier 谈安全：自主人工智能黑客攻击与网络安全的未来

工智能代理如今正在入侵计算机。它们在网络攻击的各个阶段都表现得越来越好，速度比我们大多数人预期的要快。它们可以将网络行动的不同环节串联起来，并以计算机的速度和规模自主进行攻击。这将改变一切。

今年夏天，黑客们验证了这一概念，业界将其制度化，犯罪分子则将其付诸实践。6月，人工智能公司XBOW在短短几个月内提交了超过1000个新漏洞，荣登HackerOne美国排行榜榜首。8月，参加美国国防部高级研究计划局（DARPA）人工智能网络挑战赛的七支队伍在四小时的计算时间内，在目标系统中共发现了54个新漏洞。同样在8月，谷歌宣布其Big Sleep AI在开源项目中发现了数十个新漏洞。

情况愈演愈烈。7月，乌克兰计算机紧急响应小组 (CERT)发现了一款俄罗斯恶意软件，该恶意软件利用 LLM 自动化网络攻击流程，实时生成系统侦察和数据窃取命令。8月，Anthropic 报告称，他们挫败了一个利用 Claude（Anthropic 的人工智能模型）自动化整个网络攻击流程的威胁行为者。该人工智能模型的运用令人印象深刻，它执行了网络侦察、渗透网络并窃取了受害者的凭证。该人工智能模型能够确定窃取哪些数据、勒索受害者多少钱以及如何最佳地撰写勒索邮件。

另一名黑客利用 Claude 创建并推广了自己的勒索软件，并配备了“先进的规避能力、加密和防恢复机制”。9 月，Checkpoint报道了黑客使用 HexStrike-AI 创建自主代理，可以扫描、利用并在目标网络中驻留。同样在 9 月，一个研究团队展示了如何快速轻松地从公开信息中重现数百个漏洞。这些工具越来越免费，任何人都可以免费使用。中国公司 Cyberspike 最近发布的一款人工智能渗透测试工具Villager使用 Deepseek 模型完全自动化攻击链。

这远远超出了2016年美国国防部高级研究计划局（DARPA）举办的网络大挑战赛上人工智能的能力。中国一年一度的人工智能黑客挑战赛——机器人黑客大赛——或许也达到了这个水平，但在中国以外鲜为人知。

地平线上的转折点

如今，人工智能代理的复杂程度已可与人类精英黑客相媲美，有时甚至超越他们。它们以机器速度在全球范围内实现自动化操作。其强大的能力使其能够完全自动化执行犯罪分子的指令，以实现利润最大化，或根据政府的精确要求构建高级攻击，例如规避检测。

在未来，攻击能力可能会加速发展，超出我们个人和集体的应对能力。长期以来，我们理所当然地认为，在漏洞被发现后，我们有时间修补系统，或者认为隐瞒漏洞细节就能阻止攻击者利用漏洞。但如今，情况已不再如此。

网络攻击/网络防御的平衡长期以来一直倾向于攻击者；这些发展有可能彻底颠覆这一平衡。我们可能正在 目睹网络攻击者的奇点事件。攻击链的关键环节正在走向自动化和集成化：持久化、混淆、命令与控制以及终端规避。漏洞研究有可能在行动期间进行，而不是提前数月。

技能最强的机器人目前可能仍会保持优势。但人工智能机器人并非必须比人类更擅长才能发挥作用。它们只需在四个维度中的一个方面表现出色：速度、规模、范围或复杂性。但种种迹象表明，它们最终将在所有四个维度上都表现出色。通过降低发现和利用漏洞所需的技能、成本和时间，人工智能可以将稀缺的专业知识转化为商品能力，并为普通犯罪分子带来巨大的优势。

人工智能辅助的网络防御演变

人工智能技术也能使防御者受益。我们尚不清楚网络攻击和网络防御的不同技术如何适应人工智能的增强，但我们可以推断出一系列可能相互重叠的发展。

第一阶段：漏洞研究人员的转型。基于人工智能的黑客攻击不仅对攻击者有利，也对防御者和攻击者都有利。在这种情况下，人工智能赋予防御者更多能力。它简化了功能，使更多人能够执行以前复杂的任务，并使以前忙于这些任务的研究人员能够加速或超越这些任务，从而腾出时间来研究需要人类创造力的问题。历史表明了一种模式。逆向工程曾经是一个费力的手动过程，直到像 IDA Pro 这样的工具让这种能力变得普及。人工智能漏洞发现也可能遵循类似的轨迹，通过可脚本化的界面、自动化的工作流程和自动化的研究不断发展，最终实现广泛的应用。

第二阶段：VulnOps 的兴起。在研究突破和企业应用之间，一门新学科可能会出现：VulnOps。大型研究团队已经在围绕其工具构建运营管道。它们的演变可能反映了 DevOps 如何使软件交付专业化。在这种情况下，专门的研究工具将成为开发者产品。这些产品可能以 SaaS 平台、内部运营框架或完全不同的东西的形式出现。可以将其视为人工智能辅助的漏洞研究，可供所有人使用，规模化、可重复，并集成到企业运营中。

第三阶段：企业软件模式的颠覆。如果企业像采用持续集成/持续交付 (CI/CD) 那样采用人工智能驱动的安全技术，将会开辟出多条发展路径。人工智能漏洞发现可能会成为交付流程中的一个内置阶段。我们可以设想这样一个世界：人工智能漏洞发现将成为软件开发流程中不可或缺的一部分，漏洞甚至在投入生产之前就会自动修复——我们可以将这种转变称为持续发现/持续修复 (CD/CR)。第三方风险管理 (TPRM) 提供了一种自然的采用途径、低风险的供应商测试、集成到采购和认证关卡中，以及在更广泛推广之前提供试验场。

第四阶段：自愈网络。如果组织能够独立发现并修补正在运行的软件中的漏洞，就无需等待供应商发布修复程序。组建内部研究团队成本高昂，但人工智能代理可以执行此类发现，并为多种代码（包括第三方和供应商产品）生成补丁。组织可以开发独立功能，按照供应商的时间表创建和部署第三方补丁，从而延续当前独立开源补丁的趋势。这可以提高安全性，但客户未经供应商批准就自行修补软件，会引发补丁正确性、兼容性、责任、修复权以及与供应商的长期合作关系等方面的问题。这些都是推测。或许人工智能增强的网络攻击不会像我们担心的那样演变。或许人工智能增强的网络防御会赋予我们目前无法预料的能力。最让我们感到惊讶的，或许不是我们能够预见的路径，而是我们目前无法想象的路径。

本文由 Heather Adkins 和 Gadi Evron 共同撰写，最初发表于CSO