企业人工智能创新发展和安全平衡“如履薄冰”

据Zscaler称,2024年全球AI/ML工具的使用激增,企业将AI集成到运营中,员工将其嵌入到日常工作流程中。

AI/ML工具企业使用

该报告显示,企业对人工智能/机器学习工具的使用同比增长了3000%以上,突出了跨行业快速采用人工智能技术,以释放新的生产力、效率和创新水平。调查结果基于对2024年2月至2024年12月Zscaler云中总共5365亿个人工智能和机器学习交易的分析。

企业正在向人工智能工具发送大量数据,总计3624 TB,这凸显了这些技术在多大程度上被整合到运营中。然而,这种采用率的激增也加剧了安全问题。企业阻止了59.9%的AI/ML交易,这表明企业意识到与AI/ML工具相关的潜在风险,包括数据泄露、未经授权的访问和违反合规性。

威胁者也越来越多地利用人工智能来放大攻击的复杂性、速度和影响——迫使企业重新思考其安全策略。

“随着人工智能改变行业,它也带来了新的和不可预见的安全挑战。数据是人工智能创新的黄金,但必须安全地处理,”Zscaler首席安全官Deepen Desai说。

ChatGPT主导了AI/ML交易

ChatGPT成为使用最广泛的AI/ML应用程序,推动了45.2%的全球AI/ML交易。然而,由于企业对敏感数据暴露和未经批准的使用越来越担心,这也是最受封锁的工具。其他最受阻止的应用程序包括Grammarly、Microsoft Copilot、QuillBot和Wordtune,展示了人工智能增强的内容创建和生产力提高的广泛使用模式。

企业正在人工智能创新和安全之间走越来越窄的钢丝。随着人工智能采用率的不断增长,组织将不得不收紧风险控制,同时仍然利用人工智能/机器学习的力量来保持竞争力。

人工智能正在放大网络风险,使用代理人工智能和中国的开源DeepSeek使威胁者能够扩大攻击规模。到目前为止,在2025年,我们看到DeepSeek挑战OpenAI、Anthropic和Meta等美国巨头,以强大的性能、开放访问和低成本颠覆人工智能的发展。然而,这种进步也带来了重大的安全风险。

从历史上看,前沿人工智能模型的开发仅限于一小群精英“建设者”——像OpenAI和Meta这样的公司投入数十亿美元来训练大规模基础模型。然后,这些基础模型被“增强者”利用,他们在上面构建了应用程序和人工智能代理,然后接触到更广泛的“采用者”或最终用户。

DeepSeek通过大幅降低培训和部署基础LLM的成本,使更多的玩家能够进入人工智能领域,从而破坏了这种结构。与此同时,随着xAI的Grok 3模型的发布,该公司宣布Grok 2将成为开源——这意味着,与Mistral的Small 3模型一起,用户在开源人工智能方面有更多的选择。

行业正在加大努力,确保AI/ML交易安全

美国和印度产生了最高的人工智能/机器学习交易量,代表了全球向人工智能驱动的创新转变。然而,这些变化并不是在真空中发生的,这些地区和其他地区的组织正在应对日益严重的挑战,如严格的合规要求、高实施成本和熟练人才短缺。

金融和保险部门占所有企业AI/ML活动的28.4%,反映了其广泛采用,并表明了行业支持的关键功能,如欺诈检测、风险建模和客户服务自动化。制造业排名第二,占交易的21.6%,可能是由供应链优化和机器人自动化的创新驱动的。

其他行业,包括服务(18.5%)、技术(10.1%)和医疗保健(9.6%),也在增加对人工智能的依赖,而每个行业也面临着独特的安全和监管挑战,这些挑战带来了新的风险,并可能影响整体采用率。

行业也在加大努力来保护AI/ML交易,但被阻止的AI/ML活动的数量各不相同。金融和保险冻结了39.5%的人工智能交易。这一趋势与行业严格的合规格局以及保护财务和个人数据的需要相一致。

制造业阻止了19.2%的人工智能交易,提出了一种战略方法,即人工智能被广泛使用,但密切监控安全风险,而服务采取更平衡的方法,阻止了15%的人工智能交易。另一方面,医疗保健只阻止了10.8%的人工智能交易。尽管处理了大量的健康数据和PII,但医疗保健组织在保护人工智能工具方面仍然落后,安全团队正在赶上快速创新。

深度造假将成为整个行业的大规模欺诈媒介

当企业将人工智能整合到其工作流程中时,他们还必须面对影子人工智能的风险——未经授权使用人工智能工具可能会导致数据
泄漏和安全盲点。如果没有适当的控制,敏感的商业信息可能会被第三方人工智能模型暴露、保留,甚至被使用
训练外部系统。

GenAI将在2025年及以后将社会工程攻击提升到新水平,特别是在语音和视频网络钓鱼方面。随着基于GenAI工具的兴起,初始访问经纪人团体将越来越多地使用人工智能生成的语音和视频与传统渠道相结合。随着网络犯罪分子采用本地化语言、口音和方言来提高他们的可信度和成功率,受害者将更难识别欺诈性通信。

随着企业和最终用户迅速采用人工智能,威胁行为者将越来越多地通过旨在促进恶意软件、窃取凭据和利用敏感数据的虚假服务和工具来利用人工智能的信任和兴趣。

深度伪造技术将助长新一波欺诈,超越操纵的公众人物视频,扩展到更复杂的骗局。欺诈者已经在使用人工智能生成的内容来创建假身份证,为欺诈性保险索赔编造事故图像,甚至制作伪造X射线来利用医疗保健系统。

随着深度欺诈工具变得更加先进和可访问性,其输出也更加令人信服——欺诈将更难检测,破坏了身份验证和通信中的信任。

战略性的、分阶段的方法对于安全采用人工智能应用程序至关重要。最安全的起点是阻止所有人工智能应用程序,以减轻可能的数据泄露。然后,将审查过的人工智能工具与严格的访问控制和安全措施逐步集成,以保持对企业数据的全面监督。

消息来源:helpnetsecurity, 编译:安全114; 

本文由 anquan114.com 翻译整理,封面来源于网络;  

转载请注明“转自 anquan114.com”并附上原文

© 版权声明
THE END
你的支持是我们在网空安全路上的驱动力!
点赞13 分享
评论 抢沙发
头像
欢迎您留下宝贵的见解!
提交
头像

昵称

取消
昵称表情代码快捷回复

    暂无评论内容