
开源Kafka-console:MIT许可单二进制替代Redpanda Console
来源标题:Show HN: Kafka-console – MIT, single-binary alternative to Redpanda Console
Kafka-console 发布,一个以 MIT 许可开源、可替代 Redpanda Console 的 Apache Kafka Web 控制台。它把 UI 嵌入单个二进制文件,指向一个或多个集群后即可查看 topic 内容、消费者及滞后情况,并支持分区健康、副本迁移、ACL 查看和消息检索与实时追踪。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
Apache Kafka 的 Web 控制台。单个二进制文件,内嵌 UI。把它指向一个或多个集群,就能看到 topic 里有什么、谁在消费、落后了多少。
概览:broker、controller、分区健康状况、磁盘使用量。
Topic:分区、副本、ISR、offset 和大小。创建和删除 topic、编辑配置、增加分区、删除记录。在 broker 之间迁移副本,并提供一个让副本和 leader 均衡分布的平衡计划。查看适用于每个 topic 和 group 的 ACL。每个 topic 可选一个文档页面,来自 Markdown 文件;见 Topic documentation。
消息:一个 Start 选择器:最新、最旧、从某个 offset 开始、每个分区的最后 N 条、最近的时间范围(15 分钟到 7 天),或自定义 from/to。时间范围会先显示最新的匹配消息。默认使用 Kafka 的时间索引;开启 Exact time 后还会找出乱序的生产者时间戳,代价是要扫描更靠后的 offset。“Load older”或“Load more”会从上次停止的地方继续同一次读取,即使表单已被编辑。Live tail 始终显示从现在起到达的消息。搜索、分区、JavaScript 过滤器和键/值解码仍然适用;Start、时间范围和 limit 不适用。文本搜索、JavaScript 过滤器、live tail、JSON 树视图。搜索会一直读取,直到填满 limit、到达范围末尾或被停止,并在匹配项到达时显示。过滤器每条消息有 2 秒时间;运行更久的过滤器会被视为脚本错误,读取继续进行。当自动选择不正确时,可将键和值按 JSON、文本、MessagePack、CBOR、hex、base64 或无符号整数读取。没有 registry 的 Protobuf,从本地 .proto 文件读取;见 Protobuf without a registry。将 JSON 值的字段显示为列,并将时间显示为本地、UTC、相对或 Unix。两者都保存在浏览器中。按存储原样下载键或值,包括大到无法显示的值。将消息重新发送到另一个 topic。在 Produce 中打开一条消息以编辑其键、值或 headers,查看更改,并向同一或另一个 topic 发送一条新记录。按 offset 或时间重放一个范围,使用相同的搜索和 JS 过滤器,发送到另一个 topic 或回到同一个 topic。Review 会确定 offset 范围;Write 使用同一范围,但不包括 review 之后追加的记录。没有搜索或过滤器时,review 会快速根据 offset 显示一个上限估计。Exact count and time check 会先扫描,统计已提交记录并找出乱序时间戳。运行时显示进度。从文件导入记录:本控制台导出的 JSON 或 CSV、JSON lines,或每行一个值。可保留分区、时间戳和 schema ID。文件按流读取,因此任意大小都可以。在写入任何记录之前,会先检查每条记录。停止或失败的导入可以恢复;如果响应丢失,该批次的结果未知,重新发送需要确认重复的风险。导入不保证 exactly-once 投递。新的 CSV 导出会将 null 键和 tombstone 与空字符串分开保留,并附带 schema 和截断元数据。较旧的 CSV 文件仍按其原始解释导入(空键表示 null,空值表示空字符串);当这种区分很重要时,请使用 JSON 或新的导出。被截断或无法解码的导出会被拒绝,而不是静默重新导入。Produce:键、headers、分区、压缩、base64,或使用 registry schema 编码的 JSON。
消费者组:每个分区的 lag 和追平估计。通过预览重置 offset:earliest、latest、offset、timestamp 或 shift。Apply 使用确切审核过的 offset;已更改的提交或保留范围之外的目标需要重新预览。将组的 offset 备份到 JSON 文件并恢复,或在同一 topic 上复制另一个组的 offset。创建一个组或向其中添加一个 topic。
Schema Registry:Avro、Protobuf 和 JSON Schema 解码。Subject、版本、兼容性、创建和删除。按 registry 上下文过滤;每个 subject 链接到以其命名的 topic。
安全:ACL、SCRAM 用户、客户端配额。编辑配额时会保留其完整实体,包括组合的 user/client-id 和默认组件。
运维安全:每个集群的 read_only 和 confirm_writes 标志,以及一个给 UI 着色的颜色。关闭诸如 topic 创建或删除之类的功能;见 Features。每次写入都有一条审计日志。破坏性操作前需要确认。MCP(可选):在同一 HTTP 服务器上暴露共享的 kafka-mcp 工具,默认只读。包含 OpenCode、Claude Code 和 Codex 的设置示例;见 Connect an AI coding agent。
大型集群:可处理数千个 topic 和 group。列表分页,选择器只加载名称,Overview 只报告不健康的 topic。
快速开始
编写一个最小的 kafka-console.yaml:
clusters:
local:
brokers: ["host.docker.internal:9092"]
运行它:
docker run -d --name kafka-console -p 8080:8080
-v "$PWD/kafka-console.yaml:/etc/kafka-console.yaml:ro"
ghcr.io/rakunlabs/kafka-console:latest
打开 http://localhost:8080。
Linux、macOS 和 Windows 的二进制文件在 releases 页面上。将二进制文件与 kafka-console.yaml 放在同一文件夹中运行。
kafka-console.yaml(或 .yml、.json、.toml)从工作目录或 /etc 加载。设置 CONFIG_FILE 以使用其他路径。带 KAFKA_CONSOLE_ 前缀的环境变量会覆盖文件中的单个值,例如 KAFKA_CONSOLE_SERVER_PORT=9000 或 KAFKA_CONSOLE_INFO=PreProd。在文件中定义集群:环境变量无法设置 clusters 内部的值。使用 password_file 从文件读取密钥,例如挂载的 Kubernetes secret。
log_level: info
info: PreProd # 显示在应用名称旁边的标签;省略则隐藏
server:
port: "8080"
base_path: /kafka # 在反向代理后以子路径提供服务
user_header: X-User # 你的认证代理设置的 header;每次写入时记录
trusted_proxies: ["10.0.0.0/8"] # 只有这些可以设置 user_header 和 X-Forwarded-For
idle_timeout: 2m # 关闭空闲的 keep-alive 连接
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。