更快的LLM工具路由附带新的安全考虑因素

大型语言模型依赖于外部工具来执行现实世界的任务，但将它们连接到这些工具通常会减慢它们的速度或导致故障。香港大学的一项新研究提出了一种解决这个问题的方法。研究团队开发了一个名为NetMCP的平台，该平台为模型上下文协议（MCP）增加了网络感知，MCP是允许LLM连接到外部工具和数据源的接口。

这项研究的重点是改进LLM选择使用的外部服务器或工具的方式。它引入了一种新的路由算法，该算法解释了语义相关性和网络性能。目标是使LLM更快、更可靠，并更适合延迟和中断常见的大规模环境。

超越语义匹配

MCP系统仅根据用户查询和工具描述之间的语义相似性来路由工具请求。这在理论上很有效，但它忽略了网络的实际状况。最相关的工具可能位于速度缓慢或不可用的服务器上，这会导致延迟或故障。

研究团队指出，这种限制影响了数十或数百台MCP服务器在不同网络负载下运行的生产环境。他们提出的解决方案将网络感知整合到路由过程中，以便LLM可以考虑工具的作用及其实时表现。

NetMCP平台的设计

NetMCP是这个想法的试验台。它提供了一个具有五种模拟网络状态的受控环境，从近乎理想的条件到高延迟、频繁中断和波动的连接。这允许研究人员在现实的网络行为下测试路由算法，而不是假设完美的连接。

Atsign首席技术官Colin Constable表示，这种性能驱动的设计可以有权衡。他解释说：“像NetMCP这样的平台，通过将延迟和负载等网络指标纳入LLM代理工具路由，从根本上扩大了攻击面。”“这个架构决定引入了一个关键的权衡：通过信任未经验证的网络遥测来追求性能优化，牺牲了安全严谨性。”

SONAR算法

平台的中心是一个名为SONAR的新算法，称为面向语义和网络感知路由。它结合了语义匹配和对网络健康的持续监控。每个MCP服务器都根据两个因素进行评分：其工具与用户请求的相关性以及服务器的网络连接稳定性。

该算法跟踪几个网络质量指标，包括延迟、可用性和抖动。它还使用历史数据来预测服务器可能的行为。如果服务器的延迟上升到一定的阈值以上，则被视为离线。然后，该算法避免将新任务路由到该服务器，直到条件改善。

通过平衡这些指标，SONAR可以适应不断变化的网络条件，同时仍然选择最匹配任务的工具。本文描述了三种操作模式：质量优先、延迟敏感和平衡。这些模式允许在语义准确性和网络性能之间进行不同的权重，具体取决于应用程序。

Constable指出，这种平衡也造成了新的安全复杂性。他说：“SONAR算法对语义相似性和网络健康的要求为攻击者创造了一条冗余的成功途径。”“攻击者可以通过同时进行两种攻击来实现工具劫持：通过恶意输入进行语义操作和网络指标欺骗，欺骗系统选择受损端点。”

建立一个现实的测试平台

NetMCP被设计成一个支持实验的模块化系统。它包括五个组件：MCP服务器、网络状态环境、处理查询的代理、路由算法模块和评估模块。该平台可以同时运行实时和模拟测试。

在实时模式下，系统连接到实际的MCP服务器，如Exa、DuckDuckGo和Brave。在模拟模式下，它重现相同的条件，没有外部依赖。这种设置允许研究人员运行可重复的测试，并隔离网络行为对性能的影响。

网络环境生成器可以为每台服务器创建详细的延迟配置文件。它可以使用正弦波模式或随机中断模拟波动连接，持续时间和概率受控。这些测试条件允许对不同的路由策略进行并排比较。

不同网络条件下的结果

研究人员将SONAR与三种现有方法进行了比较：基线检索增强生成（RAG）方法、添加LLM评分的重新排名版本和名为PRAG的预测增强版本。

在理想的网络条件下，所有算法的准确性都相似。然而，RerankRAG引入了每个查询超过20秒的延迟，而SONAR和PRAG保持在两秒以下。

当网络不稳定时，SONAR的优势变得更加明显。在混合和波动的情况下，PRAG的失败率达到约90%，而SONAR避免了所有失败。平均延迟从大约900毫秒下降到大约22毫秒，响应速度显著提高。

即使系统中的每个服务器都经历了周期性波动，与PRAG相比，SONAR仍保持了93%的任务成功率，并将平均延迟降低了74%。这些结果表明，网络感知路由可以对现实世界的LLM性能产生可衡量的差异。

安全和复原力问题

虽然技术收益是巨大的，但专家表示，该设计也为利用开辟了潜在的途径。Constable警告说，对手可能会伪形网络健康指标来影响路由行为。他说：“攻击者可以操纵路由引擎，错误地引导代理的查询，并有可能将敏感数据泄露到攻击者控制的端点。”“对于拒绝服务攻击，攻击者可以伪装合法工具的严重拥塞，迫使代理将流量转移到脆弱的替代方案上。”

他建议实验基于MCP的系统的组织采用零信任人工智能原则，并强制执行路由决策中使用的任何网络遥测的加密来源。Constable说：“没有验证，网络健康数据将成为攻击者的控制点。”