返回资讯中心
外部精选
软件工程
#开发者实时流

Percival:无需重启即可修改 Celery beat 调度

来源标题:Percival – change Celery beat schedules without restarts

Percival 是一个自托管的 Celery 控制面板,允许在不重启 beat 或 worker 的情况下修改任务调度,并避免任务重复执行和 worker 运行旧代码的问题。若已用 Redis 运行 Celery,只需三条命令和几行代码即可接入:pip 安装后在 Celery 应用处调用 percival.init,并以 percival.beat.Scheduler 启动 beat。它只决定任务何时运行并展示执行情况,任务代码无需改动。

Hacker News 最新rijinraju8562026/11/11 · 6 天前13 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

为 Celery 提供的一个自托管控制面板。无需重启 beat 或 worker 即可更改调度,并且能阻止两种 ping 监控看不到的情况:任务运行两次,以及过期的 worker 仍在运行旧代码。 如果你已经在用 Celery 搭配 Redis,只需三条命令和几行代码。你的任务保持原位;Percival 只决定它们何时运行,并向你展示发生了什么。 pip install percival

proj/celery.py, right after app = Celery(...)

import os, percival percival.init( app, redis_url="redis://localhost:6379/0", code_version=os.environ.get("GIT_SHA", "dev"), # whatever identifies a deploy ) celery -A proj beat -S percival.beat.Scheduler docker run -d -p 8080:8080 -v percival:/data
-e PERCIVAL_REDIS_URL=redis://host.docker.internal:6379/0
-e PERCIVAL_ADMIN_PASSWORD=pick-a-long-one
ghcr.io/rijinraju/percival 重启你的 worker,打开 http://localhost:8080 并以 admin 身份登录。你的任务会显示在 Tasks 下;选一个并为它设置调度。已经有 beat_schedule 了?在面板上按 import 即可。 host.docker.internal 是容器访问你自己机器上 Redis 的方式(Docker Desktop)。在服务器上,请使用你的 worker 所用的 Redis 主机名。如果你的 broker 是 RabbitMQ,还需要传入 PERCIVAL_BROKER_URL。 git clone https://github.com/RijinRaju/percival && cd percival/demo docker compose up 打开 http://localhost:8080,用 demo / percival-demo 登录。它会运行 Redis、beat、面板,以及两个运行不同版本小型商店应用的 worker。一分钟内你就会看到旧 worker 拒绝本应交给新 worker 的任务、重复的摘要被跳过、一个不稳定的任务失败且其 API token 被脱敏,以及一个按印度时间 9:00 运行的 crontab。docker compose down 会把这一切都清除。 项目还处于早期阶段。在 1.0 之前,次要版本之间(0.1 到 0.2)预计会有破坏性变更。请固定你使用的版本。 我们的调度曾经放在一个手工编辑的 beat_schedule 里。修改一个调度意味着编辑配置、重新部署,并手动重启 beat 和每一个 worker。 我们把一个邮件任务从“周一和周四”改成“每 5 分钟一次,按用户时区”。在发布过程中,有一个 worker 还没重启。它仍在运行旧代码,而 beat 已经开始每 5 分钟触发一次,用户收到了本不该收到的邮件。 没有任何东西告诉我们这些 worker 处于不同版本,也没有任何东西阻止任务运行两次。Flower 不管理 beat 调度,django-celery-beat 与 Django 绑定,RedBeat 没有 UI,而 Healthchecks 或 Cronitor 只知道是否收到了 ping。它们中没有一个能捕获这个问题。 pip install percival

proj/celery.py

import os from celery import Celery import percival app = Celery("proj") percival.init( app, redis_url="redis://localhost:6379/0", code_version=os.environ["GIT_SHA"], ) 这一次调用会设置好: from percival import once_per def send_digest(user_id): ... 同一窗口内对同一 key 的第二次运行会被跳过,并记录为 skipped_duplicate。有几点值得了解: percival import --app proj.celery:app --redis-url redis://localhost:6379/0 (或者在面板上按 import,它会列出你的 worker 发布的内容。) 这是一次 dry run,会打印将要创建或更改的内容。加上 --apply 把条目写入 RedBeat,然后使用 celery beat -S percival.beat.Scheduler 运行 beat(见下文)。 导入之后,请从 beat_schedule 中删除那些条目。RedBeat 每次 beat 启动时都会重新同步配置条目,因此留在配置里的任何内容都会覆盖你在面板中所做的更改。 celery -A proj beat -S percival.beat.Scheduler 这就是 RedBeat 加上三项增强:crontab 遵循各自的时区(包括 DST),beat 会写入心跳,让面板知道它还活着以及你最近的更改是否已被接收,并且它每 15 秒检查一次新调度,而不是最多每 5 分钟一次。 普通的 redbeat.RedBeatScheduler 仍然可以配合面板写入的所有内容使用。你只是会失去上面三项功能。 面板是一个容器,按照你配置 Flower 的方式来配置:通过环境变量。 docker run -d -p 8080:8080 -v percival:/data
-e PERCIVAL_REDIS_URL=redis://redis:6379/0
-e PERCIVAL_ADMIN_PASSWORD=pick-a-long-one
ghcr.io/rijinraju/percival 一切都是可选的。省略 URL 或 admin 的话,首次访问时会要求你输入(在那里输入的连接会被加密存储)。 请把 /data 放在卷上:它保存用户、运行历史和生成的密钥。调度本身存放在 Redis 中,所以请开启 Redis 持久化。 cd web && npm ci && npm run build && cd .. pip install -e client -e server percival-server 如果除了你之外还有人会访问它,请把它放在带 TLS 的反向代理后面。登录后,API 文档位于 /api/docs。 每个选项都可以传给 init() 或设置为环境变量: 如果 code_version 保留为 unknown,任何需要版本的调度都会在该 worker 上被阻止,因为无法判断它是否为最新版本。 python -m venv .venv .venv/bin/pip install -e "client[dev]" -e "server[dev]" (cd client && pytest) (cd server && pytest)

ui with hot reload, proxies /api to a panel on :8080

cd web && npm ci && npm run dev License MIT

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →