Uber 分享 AI Agent 安全框架，覆盖智能体全生命周期

产品 广告了解 Uber 广告的更多信息。在消费者前往任何地方、获取任何物品的过程中触达他们。 面向 Uber 司机和配送员的资源 为出行人群提供的体验与信息 用 Uber Eats 订餐外送只是一个开始 让商店触达全球消费者 改变企业运送人员和提供餐饮的方式 与医疗服务提供者携手推动护理服务向前发展 拓展公共交通的覆盖范围 为全球城市和社区做正确的事 产品、操作指南和政策内容——以及更多

为应对这一挑战，我们开发了一套纵深防御安全框架，覆盖智能体（agent）的完整生命周期：配置期验证、运行时强制执行和持续保障。该框架结合了智能体注册表、角色设定与显式意图、约束条件、工具与 MCP 验证、上下文感知护栏，以及持续红队测试和端到端可观测性与回放。在运行时，我们引入了提示词溯源和证据链，将特权操作与用户实际请求关联起来，从而为防范间接提示词注入、目标劫持和智能体非预期行为提供了额外防线。

保障智能体安全不仅仅是添加护栏；它要求将安全设计融入智能体架构本身。通过分享我们的框架、实现方法、权衡取舍和经验教训，我们希望为工程团队提供实用模式，从一开始就将这些防护措施构建到智能体系统中，而不是等智能体进入生产环境后再进行改造。

我们构建这一框架，是因为传统安全控制并非为治理 AI 智能体在运行时的推理和行动方式而设计。身份与授权系统可以判断用户或服务是否有权访问某项资源，但无法判断智能体提议的操作在上下文中是否恰当。随着智能体获得更大的自主权以及对生产工具和敏感数据的访问权限，我们需要能够治理行为而不仅仅是访问权限的控制措施，并且能够随着智能体、能力和攻击技术的演进而持续适应。

在开发该框架之前，我们的主要替代方案是传统的身份、授权和策略执行控制，辅以 AI 专用的单点解决方案。我们评估了多个商业 AI 安全和护栏平台，包括旨在检测直接提示词注入、越狱、不安全内容和敏感数据暴露的技术。我们还考虑了用于控制工具和数据访问的传统策略引擎和授权技术。这些技术仍然是纵深防御架构的重要组成部分，但都无法完全解决我们试图应对的更广泛威胁模型：即使用户、智能体、工具和每一次 API 调用都经过合法授权，智能体仍可能被操纵执行非预期操作。

图 1：通过行为强制执行扩展访问控制，确保 AI 智能体按预期行事。

为生产环境设计这些控制措施带来了第二组挑战。安全有效性必须在准确性、延迟、成本、开发者体验和智能体自主性之间取得平衡。更强的强制执行可以减少不安全操作，但也会增加误拦截，因此我们从统一阈值转向基于每个智能体行为和风险画像的持续校准。运行时评估还会引入延迟和推理成本，这促使我们建立严格的延迟预算，并在可能的情况下优先使用小型专用模型而非大型通用 LLM。

开发者采用同样重要。如果接入复杂性或误报促使团队绕过控制措施，那么技术上再强的控制措施价值也有限，因此我们投入自动化接入和护栏分配，使安全路径成为最便捷的路径。我们还发现，通用控制措施可以提供广泛的基线覆盖，但一些最强的防护——特别是角色设定、意图和语义约束的强制执行——需要更深入的集成和对每个智能体的理解。

这些权衡取舍对框架的塑造不亚于底层安全模型。我们的核心经验是：安全性、准确性、延迟、成本、智能体自主性和开发者体验无法独立优化。有效的智能体护栏需要将其视为分布式系统和工程问题，而不仅仅是安全问题，控制措施需要设计为在生产规模下持续可靠地运行。

Uber Secure AI 是一种纵深防御架构，通过三个集成层次在智能体的整个生命周期中保障其安全：配置期验证、运行时强制执行和持续保障。它建立在一个简单的前提之上：传统身份与授权仍然必不可少，但当软件能够对不可信内容进行推理、动态选择工具并代表用户采取行动时，它们已不再足够。智能体系统需要一个额外的语义和行为控制层，不仅能够判断智能体是否可以执行某项操作，还能判断在给定其既定目的、用户请求和权限以及会话上下文的情况下，它是否应该执行该操作。

图 2：一个三层架构，通过持续保障在配置和运行时强制执行阶段保障 AI 智能体安全。

该架构从配置阶段开始，Uber AI Registry 在此提供智能体身份、所有权、角色设定、允许的意图、约束条件、依赖关系和风险等级的权威记录。这些属性共同建立了一份行为契约，描述了智能体的设计用途和允许执行的操作。

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）