
Nostromo:空闲时自动休眠的托管Kubernetes控制平面
来源标题:Show HN: Nostromo – Hosted Kubernetes control planes that sleep when idle
Nostromo 可在单个程序中托管多个 Kubernetes 控制平面,并根据负载自动在休眠、待机、全量三种状态间切换:无人连接时完全休眠,仅节点或用户连接时只运行 apiserver,集群有变更时才启动控制器管理器与调度器。它使用未经修改的上游 Kubernetes 二进制,面向销售托管 Kubernetes 的云厂商,以降低每个客户控制平面的固定成本。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
在一个程序里托管多个 Kubernetes 控制面并保持运行,对每个控制面只运行当前真正需要的部分。
它是为出售托管 Kubernetes 的人(云厂商)而构建的:每个客户的控制面都是固定成本,而大多数时候它什么都不做。
级别 运行内容 时机 asleep(休眠) 无 没有客户端连接到集群 standby(待命) 仅 apiserver 节点或用户已连接,但没有工作要做 full(全量) apiserver + 引擎(controller-manager、scheduler) 集群中有变更正在发生
级别之间的切换是自动的: 新集群创建后会在后台立即完成首次启动(较慢的一次),然后重新进入休眠,因此它的第一个用户只需等待一次正常的唤醒。
真正的 Kubernetes:上游二进制,未做修改。
所有集群用户共用一个端口:nostromo 读取连接针对的是哪个集群(TLS hello 中的名称),并将其转发到正确的集群。流量全程加密;nostromo 从不打开它。
每个集群为其节点和 Pod 提供一个专用端口,它们通过普通地址访问 API。nostromo 会告知每个集群在内部(kubernetes service)对外公布哪个地址和端口。
标准节点加入:nostromo join NAME 使用 kubeadm 准备集群,并打印一条普通的 kubeadm join ... 命令,同时安装 kube-proxy 和 CoreDNS。
一条通往节点的隧道(Konnectivity):节点通常位于客户的网络中,控制面无法主动拨号连接它们。每个节点上的一个 agent 会呼叫 nostromo 并保持连接打开;日志、exec 和 webhook 都通过它传输。nostromo 在每个已唤醒的 apiserver 旁运行上游隧道服务器(约 35 MB),而 nostromo join 会安装该 agent。
每个集群一个证书颁发机构:一个集群的凭据无法打开其他集群。证书会自动续期。
一个共享但分区化的数据存储(etcd):每个集群有自己的密钥,只能读写属于自己的那一片数据。
多个实例:任意数量的 nostromo 副本都可以共享同一个数据存储。每个实例都服务所有集群;同一时间只有一个实例运行某个集群的引擎,如果它挂了,另一个会在半分钟内接管。
无依赖:单个 Go 二进制,仅使用标准库。
试一试
在任何 Linux 机器上(x86-64 或 arm64),无需 root:
git clone https://github.com/JustVugg/nostromo && cd nostromo
./quickstart.sh
它会将 Kubernetes 和 etcd 的二进制(校验和已验证)下载到 ~/nostromo-tools,如果机器上没有 Go 工具链也会一并下载,然后构建隧道服务器和 nostromo,启动它,创建一个集群,并展示它能响应 kubectl:首次约需四分钟,之后只需几秒。不会在系统范围内安装任何东西;运行 ./quickstart.sh stop --purge 并删除 ~/nostromo-tools 即可撤销一切。
nostromo 会在 ~/nostromo-tools 中查找二进制(k8s/kube-apiserver、k8s/kube-controller-manager、k8s/kube-scheduler、k8s/kubeadm、etcd/etcd,以及隧道所需的 konnectivity/proxy-server);-tools 可将其指向别处。quickstart.sh 会把它们放在那里。
go build -o nostromo . ./nostromo serve -dir ./data & ./nostromo create alpha ./nostromo kubeconfig alpha > alpha.kubeconfig kubectl --kubeconfig alpha.kubeconfig get namespaces # starts on its own ./nostromo list ./nostromo delete alpha
./nostromo serve -h 会列出所有选项(时间参数、地址、域名)。
这些命令通过管理 API 与运行中的服务通信(-admin,默认 127.0.0.1:7070)。该 API 仅使用 TLS 并需要一个 secret token;token 和用于信任的证书颁发机构都会在数据目录中创建(admin.token、admin-ca.crt),命令会在这里找到它们(-dir 或 NOSTROMO_DIR)。要从另一台机器管理 nostromo,请将这两个文件复制过去。
节点和 Pod 需要一个真实(非 loopback)地址才能访问 nostromo: ./nostromo serve -dir ./data -listen 0.0.0.0:6443 -address 203.0.113.10 -node-address 203.0.113.10 & ./nostromo create alpha ./nostromo join alpha # prints: kubeadm join 203.0.113.10:30000 --token ... --discovery-token-ca-cert-hash sha256:...
每个集群使用 -ports 中的两个端口:一个用于其 API(节点和 Pod),一个用于隧道 agent。两者都必须能从节点访问。
在已安装 kubelet、kubeadm 和容器运行时的机器上以 root 身份运行打印出的命令。Pod 网络(CNI)由集群所有者选择,nostromo 不负责安装。
./nostromo datastore -dir ./ds -listen 10.0.0.5:12379 & # or your own etcd cluster
on machine A and on machine B, each with a copy of ./ds/pki:
./nostromo serve -dir ./data -etcd https://10.0.0.5:12379 -pki ./pki -address LB -node-address LB &
在实例前面放置一个 TCP 负载均衡器,并使用其地址作为 -address 和 -node-address。用户、节点以及节点的隧道 agent 都调用这一个地址;每个 agent 会持续呼叫,直到连接到每一个实例,因此无论请求落到哪个实例,节点都能被访问到。
nostromo datastore 运行单个 etcd:若需要能承受机器丢失的数据存储,请运行常规的多成员 etcd,使用相同的凭据,并将 -etcd 指向它。为该 etcd 设置 --auto-compaction-mode=periodic --auto-compaction-retention=4m:各个集群将旧历史的清理工作交给它们共享的数据存储。
测量 数值 脚本 传统的常开控制面,空集群 405 MB bench/baseline.sh 20 个集群休眠 0 MB(+16 MB nostromo,+92 MB etcd,合计) bench/density.sh kubectl 观察到的唤醒时间,7 次运行 平均 2.5 秒,最差 3.0 秒 bench/density.sh 使用中的集群,2 个(模拟)节点,静息状态 263 MB,而非 417 MB bench/levels.sh 带有两个真实节点及其系统 Pod 的集群,静息状态 287 MB,而非 455 MB(含隧道服务器) bench/realnode/ 一个真实 kubelet 停止:节点被标记为 not ready 50 秒后,与标准集群一致 bench/realnode/ 100 个集群各启动一次,全部休眠 0 MB(+19 MB nostromo,+141 MB etcd,磁盘上 146 MB) bench/scale.sh 定义了 1100 个集群(100 个已启动,1000 个仅创建) nostromo 25 MB,etcd 106 MB bench/scale.sh
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。