Meta推出LlamaFirewall框架，以阻止人工智能越狱、注入和不安全代码

Meta周二宣布了LlamaFirewall，这是一个开源框架，旨在保护人工智能（AI）系统免受新兴的网络风险，如快速注入、越狱和不安全代码等。

该公司表示，该框架包含三个护栏，包括PromptGuard 2、Agent Alignment Checks和CodeShield。

PromptGuard 2旨在实时检测直接越狱和提示注入尝试，而代理对齐检查能够检查代理推理，以发现可能的目标劫持和间接提示注入场景。

CodeShield指的是一个在线静态分析引擎，它试图防止人工智能代理生成不安全或危险的代码。

该公司在GitHub对该项目的描述中表示，LlamaFirewall旨在作为一个灵活的实时护栏框架，用于保护LLM驱动的应用程序。

“它的架构是模块化的，使安全团队和开发人员能够构建从原始输入摄取到最终输出操作的分层防御——跨越简单的聊天模型和复杂的自主代理。”

除了LlamaFirewall，Meta还提供了LlamaGuard和CyberSecEval的更新版本，以更好地检测各种常见类型的违规内容，并分别衡量人工智能系统的防御网络安全能力。

CyberSecEval 4还包括一个名为AutoPatchBench的新基准，该基准旨在评估大型语言模型（LLM）代理自动修复通过模糊识别的广泛C/C++漏洞的能力，这种方法被称为人工智能驱动的修补。

该公司表示，AutoPatchBench提供了一个标准化的评估框架，用于评估人工智能辅助漏洞修复工具的有效性。该基准旨在促进对各种人工智能驱动的方法的能力和局限性的全面理解，以修复模糊发现的错误。

最后，Meta推出了一个名为Llama for Defenders的新程序，以帮助合作伙伴组织和人工智能开发人员访问开放、早期访问和封闭的人工智能解决方案，以解决特定的安全挑战，例如检测用于诈骗、欺诈和网络钓鱼攻击的人工智能生成的内容。

这些公告发布时，WhatsApp预览了一项名为“私人处理”的新技术，该技术允许用户通过将请求卸载到安全、保密的环境来利用人工智能功能，而不影响他们的隐私。

Meta说：“我们正在与安全社区合作，审核和改进我们的架构，并将继续与研究人员合作，在产品中推出私有处理，以开放和加强私有处理。”

消息来源：the hacker news, 编译：安全114； 

本文由 anquan114.com 翻译整理，封面来源于网络；  

转载请注明“转自 anquan114.com”并附上原文