影子人工智能比影子IT更糟糕吗？

一个安静的办公室看起来可能无害。沐浴在光线中的显示器架、覆盖对话的耳机，以及工作的嗡嗡声继续进行，没有迹象表明下面隐藏着某些邪恶的东西。但越来越多的是，存在着意外的、未经批准的技术——这里有个人云文件夹，那里有未经批准的AI聊天机器人。很快，组织将需要管理所有这些新的、未预料到的风险。但影子IT只是隐藏威胁的第一波。影子AI已经提高了赌注。

什么是影子AI以及为什么它正在增长

作为影子IT的延伸，影子AI涉及员工使用未经批准的技术。影子IT通常指的是消费者技术，如文件共享应用程序或个人设备。影子AI通常涉及快速移动、数据饥渴的系统，其行为可能不稳定。

\ 根据Gartner进行的研究，80%的组织在数据治理方面存在差距。这些差距使人们更容易忽视AI生成的行为。许多团队未能通过网络安全准备评估。与AI相关的风险因员工采用新工具的速度快于其团队能够充分审查它们而增加。由于30%的数据泄露源自供应商或供货商，了解团队使用的工具是保护公司数字资产的关键组成部分。

\ 影子AI之所以获得牵引力，是因为员工将AI生成的内容视为创建内容、总结复杂信息和解决技术问题的更快方式。它减少了日常工作中的摩擦，但引入了以前在影子IT问题中未见的风险，包括数据暴露、合规风险和模型级别风险。

影子AI与影子IT的对比

影子IT长期以来一直被归咎于未知的漏洞。早期的大部分漏洞是由于未签名的SaaS工具或个人存储造成的。AI工具完全改变了这个等式。它们工作的规模和速度，以及它们的不透明性，创造了更难以检测和控制的风险。

\ 随着78%的组织在生产中使用AI，一些漏洞现在是由于未管理的技术暴露造成的。更大的IT模型仍然重要，但AI引入了一个新的维度来扩大攻击面。

影子AI和影子IT之间的关键差异

影子AI与影子IT相似，因为两者都源于员工希望提高生产力的愿望，但它们在风险所在方面有所不同。

• 影子IT工具具有固定逻辑，这使行为可预测。预测影子AI工具的行为更为复杂，因为模型可以持续修改和重新训练。
• 影子IT风险包括未经授权存储或移动数据。影子AI风险包括模型反转、数据中毒和模型训练。
• 影子IT是确定性的，而AI工具可能产生幻觉、泛化能力差，并过度自信地产生不正确的输出。

\ 影子AI也出现在即将到来的法规背景下，如欧盟人工智能法案，这可能会增加监管审查。

使影子AI更加紧迫的安全风险

影子AI可能导致工程、营销和财务方面的问题。随着基于AI输出做出决策，专有数据可能泄露，内部业务流程可能在无人察觉的情况下被操纵。

\

• 模型操纵：攻击者可以制作扭曲结果的数据。
• 提示注入暴露：创建的提示可用于从模型中提取私人信息。
• 数据谱系差距：AI工具可能以安全团队无法跟踪的方式生成和存储数据。
• 合规漂移：AI工具发生变化，不断发展的治理计划可能变得不相关。

\ 随着生成式AI的出现，担忧增加。回答供应商问题的聊天机器人或生成式AI摘要可能看起来无害，但它有可能泄露敏感使用数据或有价值的专有知识产权。卡内基梅隆大学发现，大型语言模型比基于规则的系统更容易受到对抗性提示的影响。当员工可以在没有监督的情况下使用这些工具时，问题会增加。

\ 启用AI的决策树可能比传统决策树更有偏见。影子AI经常接收不完整的训练信息，这些信息被输入到第三方工具中。对AI系统的结构化监督将确保更新的完整性。当团队忽视这一点时，模型的数据和行为会漂移。

安全团队如何减少影子AI暴露

尽管影子AI带来了众多风险，但组织可以通过将可见性与政策和技术控制相结合来减轻许多风险，在保护员工生产力的同时，不会让他们负担耗时的签到或被阻止的网站。安全团队受益于将影子AI视为治理问题而非惩罚问题。随着员工使用AI工具提高生产力，缓解策略将不可避免地需要发展。

1. 建立明确的AI治理框架

治理计划应指定批准哪些AI工具、员工可以使用哪些类型的数据、如何在做出高风险决策前审查模型输出，以及当出现不可预测的模型行为时该怎么做。后者包括谁来审查行为，谁来调查其原因，以及后果是什么。

\ 有了监督，组织可以将AI视为任何其他企业资产，受到与其他传统企业系统相同的可追溯性、可审计性、安全性和合规性责任。

2. 提供经批准的AI工具

有权访问经过审核、集中化AI工具的团队不太可能转向未经批准的公共AI来绕过阻碍。随着工作变得更加自动化，员工将投入更多精力到各种模型中。工作人员已经每周花费约4.6小时在工作中使用AI，超过了每周平均个人使用时间3.6小时。如果没有适当的监控，来自第三方的AI可能已经比经过审核和批准的企业工具更为常见。公司应立即采取措施执行其政策。

\ 通过管理环境，组织可以通过工具监控使用情况，在数据库内设置权限，并在各部门执行数据治理。这提高了员工生产力，同时也保护了业务的数据完整性和合规性。

3. 监控数据移动和模型使用

标记异常行为的可见性工具——如AI使用量突然增加、将数据上传到不寻常的端点，或在短时间内使用敏感数据访问模型——可能有助于安全团队识别滥用和数据泄露。报告显示，在过去一年中，多达60%的员工使用了未经批准的AI工具，93%承认未经授权输入公司数据。

\ 及早检测这些模式可能使补救、再教育、权限重新配置或终止流程成为可能，防止其导致数据泄露或合规违规。

4. 培训员工了解AI特定风险

一般的网络安全培训是不够的。AI可能通过误解提示背后的意图而产生幻觉，并生成看似权威、虚假或有偏见的内容。此外，工作人员必须了解AI的使用与软件或服务的使用不同。安全使用需要改变心智模型、理解提示风险和处理个人数据。

\ 具有基本机器素养的用户将核实输出，并且不太可能过度共享个人数据。他们会将这些工具视为有价值的副驾驶，但必须在人类监督下使用。

保护组织免受影子AI影响

影子AI增长更快，更难以识别，比影子IT。尽管风险的规模和复杂性不同，但争取员工帮助可以更有效地识别两者。治理政策可以帮助公司取得适当的平衡。安全团队应重新评估其暴露情况，对新出现的威胁保持警惕，并在看不见的基于AI的工具在业务应用中做出关键决策之前及时采取行动。