AI故障威胁事件管理，四种方法可规避风险

AI 正日益融入数字运营和事故管理的各个环节。一方面，AI 能更快地检测、分类和修复事故，改善团队协作，防止同类事故重复发生，并推动流程重构。在一些组织中，AI 已不再只是辅助团队，而是开始代表团队行动——智能体正在为自主数字运营铺平道路。

另一方面，更大的自主性也带来了更大的风险。与传统软件系统不同，AI 驱动的事故管理工具和智能体的失效方式，是传统 ITOps 和 DevOps 团队所不熟悉的——更难预测，也更难察觉。AI 有其特定的失效模式，包括幻觉、事实依据问题、模型漂移、护栏违规或工具选择不当。这类事故发生时，往往没有一个显而易见的重大故障来拉响警报，而是错误在服务之间层层扩散，最终演变成重大问题，在多智能体系统中尤其如此。

“这类事故发生时，往往没有一个显而易见的重大故障来拉响警报，而是错误在服务之间层层扩散，最终演变成重大问题。”

好消息是，组织可以通过聚焦四个关键领域来缓解这些风险。

1. 部署护栏

在 AI 集成方面，没有两个组织处于相同的成熟度水平。有些还处在采用和试验阶段，另一些则已在构建超复杂的工作流，由成网络的专用智能体协同运作。智能体的自主性越高，一个错误决策在被发现之前能走多远，也就越难预料。

随着组织 AI 应用的成熟，需要设置护栏来执行策略、限制风险。这包括实施控制措施，确保智能体在开始偏离预期行为时能够停下来、自我报告或转交给人工处理。这样，ITOps 和工程团队就能在小问题变成大问题之前介入。这些控制措施必须既能约束风险，又不会给工程团队带来不必要的摩擦。

2. 用 AI 智能体监控和响应

随着组织部署的智能体越来越多，仅靠人工监控其行为已过于复杂。这就需要在监督层面引入新的一层——由专门设计用来监控其他 AI 系统的智能体来承担。通过评估 AI 系统产生的信号，监控智能体可以识别异常行为，并判断何时需要将问题升级给响应者。在智能体系统中，这个响应者可能不是人工操作员，而是另一个专为事故缓解而设计的 AI 智能体。近 70% 的事故源于变更，因此当 AI 以机器速度进行变更时，组织也需要以同样的速度响应。

“近 70% 的事故源于变更，因此当 AI 以机器速度进行变更时，组织也需要以同样的速度响应。”

设想一个 Site Reliability Engineering（SRE）智能体，它在检测到系统异常后立即展开调查。等到值班工程师收到通知时，这个 SRE 智能体可能已经在调查、分类和诊断了。将智能体与代码、遥测、基础设施和协作工具连接起来，可以让这些调查更加准确。如果事故是重复发生的，该智能体还可以触发预先批准的缓解工作流。这就为 AI 辅助的事故管理提供了一条路径，并最终走向自愈的智能体系统。

3. 确定衡量指标

要判断智能体是否按预期行事，工程团队需要有意义的性能衡量方式。每个指标的相关性取决于具体的 AI 智能体及其相关工作。但总体而言，重要指标包括任务成功率（智能体是否完成了它该完成的任务？）、事实依据（智能体的回答是否有其获得的信息作为支撑，还是在进行幻觉？）、延迟、工具选择、超时率、错误率、重试率、步骤效率、成本、安全与伦理违规、人工升级率等许多方面。评估 AI 智能体性能的一种方法是建立一组黄金标准预期行为（例如一组问题和答案），并确保智能体在黄金标准覆盖的场景中按预期运行。

4. 建立持续评估机制

智能体的性能不是固定的。如果智能体背后的模型更新，行为可能发生变化；即使底层基础设施保持健康，行为也可能漂移。任何性能下降都应被视为运营问题，在问题升级之前将警报发送给正确的团队。

评估应在两个速度上进行：近乎实时地发现问题，以及事后回顾智能体的行为。事故后复盘不仅要检查出了什么问题，还要检查智能体在响应中表现如何。它们是否适当地升级了？是否选择了正确的工具？在应该人工介入时是否介入了？随着系统变得更加自主，智能体评估必须成为一项持续的日常工作。

从小处着手

AI 有潜力改变事故管理，但组织只有能够信任其 AI 智能体时，才能抓住这个机会。建立这种信任要从低风险用例开始，比如分类和诊断，然后逐步自动化事故生命周期的更多环节。

“AI 有潜力改变事故管理，但组织只有能够信任其 AI 智能体时，才能抓住这个机会。”

信任还来自建立正确的护栏、监控和评估流程。虽然对于复杂事故，人工监督仍将不可或缺，但长期方向是明确的：工程师和 AI 智能体将越来越多地协同工作来解决问题。

The post AI failures threaten incident management: Here are 4 ways to avoid them. appeared first on The New Stack.