返回资讯中心
外部精选
软件工程
#开发者实时流

Kubernetes告警泛滥源于每个对象独立上报

来源标题:Why one broken pod sends you fifty alerts

一次ConfigMap误改会触发十几个告警,因为Kubernetes中每个对象各自独立上报,无人指向根因。文章以checkout-api为例还原从ConfigMap编辑到CrashLoopBackOff、Service无就绪端点、HPA无法扩缩的告警链。建议按影响面告警、按工作负载分组并抑制症状类告警。

Hacker News 最新abahmed2026/11/15 · 2 天前12 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

一次配置修改就能触发十几个告警,因为每个对象都各自上报。要按影响告警、按工作负载分组、抑制症状。

03:03 有人改了一个 ConfigMap。到 03:12,你收到十几个告警,却没有一个提到这次修改。这篇文章说明 Kubernetes 告警为什么会堆积,以及如何用 Prometheus 和 Alertmanager 把它们削减下来。

03:03,一位同事修改了 ConfigMap,删掉了应用需要的一个键。运行中的 Pod 仍持有旧值,所以暂时没有出问题。03:04,checkout-api 的 rollout 启动新 Pod,它们读取新文件后无法启动。接下来三分钟里,集群陆续报告了这些情况。

03:03 ConfigMap checkout-config 被修改 03:04 Deployment checkout-api 的 rollout 开始 03:04 Pod checkout-api-7f9c 进入 CrashLoopBackOff 03:04 Pod checkout-api-7f9c 就绪探针失败 03:05 Deployment checkout-api 的 3 个副本中 0 个可用 03:05 Service checkout-api 没有就绪端点 03:06 HPA checkout-api 无法扩缩容 03:06 Event 容器启动失败后反复重启(x14)

每一行都能触发自己的告警。CrashLoopBackOff 重启循环每隔几分钟就新增一条,HorizontalPodAutoscaler(HPA)也会自己加一条。一个原因、一个坏掉的工作负载,却换来十几个告警。

ConfigMap checkout-config Deployment checkout-api Pod checkout-api-7f9c Service checkout-api HPA checkout-api 1 个原因,4 个症状

最上面只有一个东西。它下面的一切都是症状。

这些都不需要新工具。先从最省事的步骤开始。

保留少量表示用户确实受影响的告警,比如工作负载没有可用副本。保留你能采取行动的原因类告警。去掉中间步骤的告警,比如单次探针失败。把这些发给工单队列或仪表盘。

for 子句会让告警等到条件持续一段时间后才触发,因此短暂抖动不会告警。下面的分组负责把后来的症状合并起来。这条规则需要 kube-state-metrics。

groups:

  • name: workloads rules:
  • alert: WorkloadUnavailable expr: kube_deployment_status_replicas_available == 0 and kube_deployment_spec_replicas > 0 for: 2m labels: severity: page annotations: summary: "{{ $labels.namespace }}/{{ $labels.deployment }} has no available replicas"

按所有者分组,而不是按 Pod 分组

对工作负载告警,而不是对它的每个 Pod 告警。在 Alertmanager 中,group_by 会把共享标签的告警合并成一条通知,group_wait 则给分组留出填充时间再发送。这里假设你的告警带有一个标明应用的标签,此处是 app。

route: receiver: oncall group_by: ['namespace', 'app'] group_wait: 30s group_interval: 5m repeat_interval: 4h

原因告警触发时抑制症状

inhibit 规则会在同一工作负载的原因告警处于活动状态时,静音对应的症状告警。

inhibit_rules:

  • source_matchers:
  • alertname = "WorkloadUnavailable" target_matchers:
  • alertname = "PodNotReady" equal: ['namespace', 'app']

只在出现新情况时再次通知

每隔几分钟重发一次没有意义。把告警的 repeat_interval 调大。当分组里新增告警时,Alertmanager 本身就会重发。

一个 Pod 在两次崩溃之间健康十秒,并不算修好了。如果每次短暂恢复都触发 resolved,你就会每隔几分钟收到一次 resolved 和一次重新打开。要等工作负载持续健康几分钟后再标记为 resolved。

大多数事故都始于一次变更,所以要看看第一次失败之前发生了什么。按时间顺序列出事件,查看 rollout 历史,并检查你怀疑的对象。

kubectl get events -n <ns> --sort-by=.lastTimestamp kubectl rollout history deployment/<name> -n <ns> kubectl get configmap <name> -n <ns> -o yaml --show-managed-fields

CONFIGMAP 修改:修改 ConfigMap 不会创建新的 rollout 修订,所以 rollout history 不会显示它。对象上的 managed fields 会记录变更时间。

然后检查 Service 后面有没有东西。

kubectl get endpointslices -n <ns> -l kubernetes.io/service-name=<service>

如果原因是配置变更,先恢复那个键。编辑 ConfigMap,或从源码控制应用上一个版本。然后重启工作负载,让新 Pod 读取它,并观察它们稳定下来。

kubectl edit configmap <name> -n <ns> kubectl rollout restart deployment/<name> -n <ns> kubectl rollout status deployment/<name> -n <ns>

如果原因是不良镜像或 spec 变更,kubectl rollout undo deployment/<name> -n <ns> 会恢复上一个修订。

Community 永久免费,并指明 Pod 和节点故障的原因类型。Pro 在早期访问期间免费,增加原因背后的证据以及发生了什么变更。

kwatch 以 ELv2 开源,运行在你的集群内。

一条命令,它会带你走完整个流程。Community 永久免费。Pro 在早期访问期间免费。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →