微软开源了两个工具，旨在为人工智能代理开发带来安全纪律：Clarity，一个结构化的设计审查工具，以及RAMPART，一个持续测试框架。
该版本来自微软的人工智能红色团队，该团队是该公司的内部单位，对自己的人工智能系统进行压力测试，这两种工具在开源之前都已在内部使用。
RAMPART：测试线束
RAMPART建立在微软现有的开源红色团队库PyRIT之上，旨在插入CI管道。
开发人员编写描述对抗场景（例如，提示注入攻击）的pytest测试，框架在每次代码更改时自动运行它们。
“每个测试都通过一个薄适配器连接到代理，协调交互，并评估可观察到的结果。测试返回清晰的及格或不及格信号，可以像任何其他整合测试一樣在CI中格控。微软AI Red团队的创始人Ram Shankar Siva Kumar解释说：“当将新工具或数据源添加到代理中时，相应的安全测试可以在同一拉取请求中添加。”
RAMPART主要是一个测试线束，这意味着每个开发人员都可以添加适配器、连接器和数据集来满足他们的需求。而且，由于人工智能系统是概率性的，RAMPART支持多次运行相同的测试并设置通过阈值。
Kumar说，微软的人工智能事件响应团队已经使用该工具来补救现实世界的事件。
他告诉Help Net Security：「他们通过RAMPART生成了100个漏洞的漏洞，并用它来测试每个变体的效力。”
“然后，工程师对所有变体应用了缓解措施，并通过RAMPART测试了缓解措施是否有效。我们发现，微软专家需要几周时间的工作现在可以使用RAMPART在几个小时内完成。”
清晰度：一个发声板
清晰度解決了問題的不同部分：設計決策可能會變得昂貴。
Kumar解释说：“[Clarity]引导工程师进行结构化对话，涵盖问题澄清、解决方案探索、故障分析和决策跟踪。”
“它提出了经验丰富的建筑师、产品经理和安全工程师会问的那些问题，当一个团队对构建新事物感到兴奋时，这些问题很容易被跳过。”
对话的输出写成人类可读的Markdown文件，提交到.clarity-protocol/目录中，因此开发人员可以根据需要查看它们。
“失败分析值得仔细观察，因为它远远超出了单个审查员通常会捕捉到的范围。多个人工智能“思想家”从不同的角度独立检查系统，包括安全、人为因素、对抗场景和操作问题。然后，团队与Clarity一起处理结果，对相关失败进行分组，追踪因果链，并建立管理计划，”Kumar补充说。
开源工具
微软在开源其内部人工智能安全工具方面有着良好的记录。
它于2021年出版了《Counterfit》，于2024年出版了《PyRIT》。后者现在有一百多个外部贡献者，并定期由微软和社区更新。
Kumar告诉Help Net Security：“我们正在发布RAMPART和Clarity，因为这些已经与微软工程师进行了战斗测试。”
“鉴于人工智能世界的速度，我们今天与社区分享这些工具，因为我们希望这些早期项目惠及所有人。”
RAMPART和Clarity现在可以在GitHub上获得。
原文链接地址：https://www.helpnetsecurity.com/2026/05/21/microsoft-open-sources-tools-for-designing-and-testing-ai-agents/
