介绍

在当今快速发展的技术环境中，人工智能 （AI） 既是一种强大的工具，也是一种重大的安全风险。专注于静态边界的传统安全模型已不足以应对人工智能驱动的威胁。零信任方法提供了管理与人工智能相关的独特和动态安全风险所需的敏捷性和全面的保障措施。本文探讨了如何应用零信任原则来降低人工智能风险，并概述了将人工智能有效集成到组织安全战略中的关键优先事项。

零信任如何帮助管理人工智能安全风险？

需要采用零信任方法来有效管理与人工智能相关的安全风险。传统的以网络边界为中心的方法建立在 20 多年来对静态技术环境的假设之上，不够敏捷，无法跟上快速发展的人工智能安全要求。

零信任安全性的以下关键要素使您能够管理 AI 风险：

• 以数据为中心：人工智能极大地提高了数据安全的重要性，人工智能需要一种以数据为中心的方法，可以在任何位置的整个生命周期中保护数据。

零信任提供了这种以数据为中心的方法，本系列中的行动手册指导组织中的角色完成此实施。

• 持续动态风险的协调管理：与现代网络安全攻击一样，人工智能不断颠覆业务、技术和安全流程的核心假设。这需要协调管理复杂且不断变化的安全风险。

零信任使用敏捷的安全策略、策略和架构来管理风险、工具、流程、技能等的持续变化，从而解决此类问题。本系列中的 playbook 将通过为组织中所有受影响的角色提供有关 AI 安全风险的具体指导，帮助您实现 AI 风险缓解。让我们来看看零信任的哪些特定要素对于管理人工智能风险最重要。

零信任 – 管理人工智能风险的四大优先事项

管理人工智能风险需要优先考虑零信任的几个关键领域，以解决人工智能的特定独特方面。每个剧本中具体指导的作用提供了有关每个角色如何将 AI 考虑因素纳入其日常工作的更多详细信息。

这些优先事项遵循学习、使用、防范和团队合作的简单主题。这类似于对任何其他类型的比赛或冲突进行任何重大破坏性变化（军事组织了解新武器、职业运动员了解新型装备或规则变更等）的理性方法。

管理人工智能风险的四大优先事项如下：

1. 学习它——教育每个人并设定切合实际的期望：当今可用的人工智能功能非常强大，影响着每个人，并且与人们的期望有很大不同。教育组织中的每个角色（从董事会成员和首席执行官到个人贡献者）至关重要，因为他们都必须了解人工智能是什么、人工智能真正能做什么和不能做什么，以及人工智能使用政策和指南。如果没有这一点，人们的期望可能会非常不准确，并导致本可以轻松避免的极具影响力的错误。

由于以下因素，教育和期望管理对于人工智能来说尤为紧迫：

• 在攻击中积极使用：攻击者已经在使用 AI 来冒充声音、电子邮件写作风格等。
• 在业务流程中的积极使用：人工智能可供任何人免费使用。求职者已经在为您的工作提交人工智能生成的简历，这些简历使用您发布的职位描述，人们正在使用公共人工智能服务来执行工作任务（并可能泄露敏感信息）等等。
• 现实主义：结果非常逼真且令人信服，特别是如果您不知道人工智能在创建虚假图像、视频和文本方面有多好。

零信任如何帮助管理人工智能安全风险？

• 困惑：由于流行文化中对人工智能的描绘方式（与人工智能当前的现实有很大不同），许多人对它没有很好的参考框架。

2. 使用它——将人工智能集成到安全中：立即开始评估人工智能并将其集成到您的安全工具和流程中，以利用其提高的有效性和效率。这将使您能够快速利用这项强大的技术来更好地管理安全风险。人工智能将影响安全的几乎每个部分，包括以下内容：

• 安全风险发现、评估和管理流程
• 威胁检测和事件响应流程
• 体系结构和工程安全防御
• 将安全性集成到系统的设计和作中

…还有

采取整体方法：保护 AI 模型的整个生命周期和依赖关系非常重要，包括模型本身、模型使用的数据源、使用该模型的应用程序、托管模型的基础结构、第三方运营商（如 AI 平台）和其他集成组件。这还应从安全生命周期的整体角度考虑识别、保护、检测、响应、恢复和治理。

• 更新获取和审批流程：必须快速完成此作，以确保新的 AI 技术（和其他技术）满足组织的安全、隐私和道德实践。这有助于避免极具破坏性的可避免问题，例如将组织数据的所有权转让给供应商和其他方。你不希望其他组织通过使用你的数据从你那里发展和夺取市场份额。你还希望避免攻击者使用你的数据来对付你，从而避免代价高昂的隐私事件和安全事件。

这应包括供应链风险考虑因素，以减轻直接供应商和第 N 方风险（从其他组织采购的直接供应商的组成部分）。在流程后期发现和修复问题比在获取之前或获取期间纠正问题要困难得多，成本也高得多，因此尽早引入这些风险缓解措施至关重要。

4. 团队合作 – 建立协调的 AI 方法：建立内部协作社区或正式的卓越中心 （CoE） 团队，以确保在团队之间快速共享见解、学习和最佳实践。人工智能是一个快速发展的领域，将推动业务、技术和安全团队的快速持续变革。您必须有适当的机制来协调和协作组织中的这些不同团队。

人工智能将如何影响零信任？

每个 playbook 都描述了每个受影响角色的具体 AI 影响和职责。

AI 责任共担模型：大多数 AI 技术将与 AI 提供商合作，因此管理 AI 和 AI 安全风险将遵循您和您的 AI 提供商之间的责任共担模型。AI 安全的某些元素将由 AI 提供商处理，有些元素将由您的组织（其客户）负责。

这与当今管理云责任的方式非常相似（许多 AI 提供商也是云提供商）。这也类似于将部分或全部制造、物流、销售（例如渠道销售）或其他业务职能外包的企业。

现在，让我们来看看人工智能如何影响零信任。

人工智能将如何影响零信任？

人工智能将加速零信任的许多方面，因为它极大地提高了安全工具和人们使用它的能力。人工智能有望减轻重要但繁琐的安全任务的负担和精力，例如：

• 帮助安全分析师快速查询许多数据源（无需成为查询语言或工具接口的专家）
• 帮助撰写事件响应报告
• 确定常见的后续行动以防止事件重复发生

简化人员与他们需要用于安全的复杂系统之间的接口将使具有广泛技能的人员能够提高工作效率。高技能的人将能够做更多他们最擅长的事情，而无需重复和分散注意力的任务。处于职业生涯早期的人将能够在某个角色中快速提高工作效率，更快地执行专家级别的任务，并通过回答问题和提供解释来帮助他们学习。

人工智能不会取代对安全专家的需求，也不会取代对安全现代化的需求。人工智能将简化许多安全流程，并允许更少的安全人员做更多事情，但它不会取代对安全思维或安全专业知识的需求。

即使采用人工智能技术，以下方面仍然需要人员和流程：

1. 向 AI 系统提出正确的安全问题
2. 解释结果并评估其准确性
3. 对 AI 结果采取行动并跨团队协调
4. 执行 AI 系统目前无法涵盖的分析和任务：

• 识别、管理和衡量组织的安全风险
• 构建、执行和监控战略和策略
• 建立和监控团队之间的关系和流程
• 集成业务、技术和安全功能
• 评估合规性要求并确保组织真诚地满足这些要求
• 评估业务和技术流程的安全性
• 评估安全状况并确定缓解投资的优先级
• 评估安全流程、工具和系统的有效性
• 规划和实施技术系统的安全性
• 规划和实施应用程序和产品的安全性
• 响应攻击并从中恢复

总之，人工智能将迅速改变您面临的攻击以及您的组织有效管理安全风险的能力。人工智能将需要零信任方法，它还将帮助您的团队更快、更高效地完成工作。

零信任行动手册系列中的指南将指导每个人完成自己的部分，从而加快管理 AI 风险的能力。它将帮助您快速将安全性与业务风险和优先级保持一致，并实现有效管理 AI 更改所需的安全敏捷性。

自然而然地出现的一些问题是从哪里开始以及首先做什么。

结论

随着人工智能重塑网络安全格局，采用零信任框架对于有效管理相关风险至关重要。从保护数据生命周期到适应动态攻击者策略，零信任原则为敏捷和强大的人工智能风险管理奠定了基础。通过专注于教育、整合、保护和协作，组织可以利用人工智能的优势，同时降低其风险。零信任手册系列为所有角色提供实用指导，确保安全性与业务优先事项保持一致，并为人工智能带来的挑战做好准备。现在是时候采用这种变革性方法并使您的安全策略面向未来了。

很多

3. 防范 – 更新安全策略、策略和控制措施：组织必须紧急更新其策略、策略、架构、控制和流程，以考虑 AI 技术的使用（由业务部门、技术团队、安全团队、攻击者等）。这有助于使组织能够充分利用人工智能技术，同时最大限度地降低安全风险。

重点领域应包括以下内容：

• 规划攻击者使用 AI：大多数组织将经历的首要影响之一是攻击者快速采用来欺骗您的员工。攻击者正在使用 AI 来获得像您这样的目标组织的优势，因此您必须更新您的安全策略、威胁模型、架构、用户教育等，以防御使用 AI 或针对您的数据的攻击者。这应该改变组织对以下方面的期望和假设：
• 攻击者技术：大多数攻击者会尝试人工智能功能并将其集成到他们的攻击中，例如在电话中模仿同事的声音、模仿网络钓鱼电子邮件中的写作风格、创建令人信服的虚假社交媒体图片和个人资料、创建令人信服的虚假公司徽标和个人资料等等。
• 攻击者目标：攻击者会以您的数据、AI 系统和其他相关资产为目标，因为它们具有很高的价值（直接向攻击者和/或将其出售给他人）。您的人类生成的数据是训练和建立 AI 模型的珍贵高价值资产，您对 AI 的创新使用可能是潜在的有价值的知识产权等。
• 保护组织的 AI 使用：组织必须更新其安全策略、计划、体系结构、流程和工具，以执行以下作：
• 安全使用外部人工智能：为安全使用外部人工智能系统制定明确的政策和支持流程和技术
• 保护组织的 AI 和相关系统：保护组织的 AI 和相关系统免受攻击者的侵害

除了防范传统的安全攻击外，组织还需要防御特定于 AI 的攻击技术，这些技术可以提取源数据、使模型生成不安全或意外的结果、窃取 AI 模型本身的设计等等。行动手册包含每个角色的更多详细信息，以帮助他们管理其风险部分。