1Password的最新年度报告显示，影子人工智能是企业环境中第二流行的影子IT形式。
根据对美国、英国、欧洲、加拿大和新加坡5000多名IT/安全专业人员和知识工作者的调查，报告显示，超过四分之一（27%）的受访工人使用雇主未购买或批准的基于人工智能的应用程序，超过三分之一（37%）的人“大部分时间”遵循公司的人工智能政策。
1Password指出：“数据表明，公司缺乏经过深思熟虑和详细的人工智能使用政策，以及执行这些政策的手段。”此外，不小可忽略的工人甚至不知道他们的公司有人工智能政策！
员工对公司人工智能政策的了解（来源：1Password）
该公司建议，企业必须从应对人工智能风险转向预测风险。这意味着：
- 对未经批准的人工智能工具和代理实施持续监控，并建立在伤害发生之前阻止它们的能力
- 安全和IT团队必须制定清晰、实用的人工智能使用政策，并确保每个人都了解和理解它们
- 当发现员工使用未经授权的工具时，组织应该了解员工使用这些工具的原因，并提供满足相同需求的安全替代方案
- 组织必须考虑到未来的人工智能（包括代理人工智能）来设计访问和安全控制。
将进攻技术转化为防御技术来应对影子人工智能
荷兰安全公司Eye Security提出了一个有趣的概念，可以帮助解决员工对人工智能政策的意识问题，并促使他们做出正确的选择。
Prompt Injection for Good是一个开源原型工具，组织可用于测试可以嵌入公司文档和电子邮件签名的提示，当员工将个人人工智能工具与公司数据一起使用时，触发合规性警告。（他们还为用户提供了一个交互式工具来测试这个概念。）
Eye Security首席技术官Piet Kerkhofs解释说：“这个想法是，最终用户将得到一份由公司CISO撰写的明确免责声明。”
公司PDF中的防御性提示注射示例（来源：Eye Security）
用户将被告知其行为的风险和后果，并（希望）当他们即将再次将公司文档上传到未经批准的人工智能平台时重新考虑。
该公司发布了该框架，允许对最新的LLM模型进行定期测试防御性提示。该框架与所有流行的人工智能平台同步，并提供轻松的集成，以批量测试公司文档中的嵌入式提示，并提供评分概述。随着LLM及其护栏的更新，它可以帮助后卫不断测试和调整他们的提示。
“我们发布的工具展示了道德提示注入的概念，该概念通过简单地将特定有效负载嵌入到公司文档中，广泛适用于DLP工具。Kerkhofs告诉Help Net Security，我们希望供应商开始测试和实验，并在生产中实现这一概念——这就是为什么我们公开分享我们的研究和源代码。”
该公司意识到这个解决方案和他们的工具是不完美的。Kerkhofs指出：“该工具不解决员工将敏感数据复制粘贴到未经批准的LLM中。管理这个问题的唯一方法是使用浏览器扩展程序来跟踪浏览器中的人工智能使用，但这也会带来明显的隐私问题。”
尽管如此，他们希望这个原型将使组织考虑使用这种（通常）冒犯性的黑客技术来主动保护他们的数据，并将促使他们创建更好的解决方案。
消息来源：helpnetsecurity, 翻译整理：安全114；
转摘注明出处 ：www.anquan114.com
暂无评论内容