返回资讯中心
外部精选
软件工程
#开发者实时流

KubeSilicon 发布:在 Apple Silicon Mac 上通过 Kubernetes 对象运行 Linux 虚拟机和 GPU 任务

来源标题:Show HN: KubeSilicon – Linux VMs and Mac GPU Jobs from Kubernetes Objects

KubeSilicon 让 Apple Silicon Mac 能够像 KubeVirt 在 Linux 上那样,通过 Kubernetes 对象运行 Linux 虚拟机,并支持以 SiliconJob 对象在 Mac 本地 GPU 上执行 PyTorch MPS 或 MLX 任务。它用 Apple Virtualization.framework 替代 macOS 上不存在的 KVM,由 Mac 上的 kubesilicond 守护进程启动虚拟机。项目目前处于早期阶段,仅在单台 Mac 的 kind 环境端到端跑通,API 还会变动,尚不适合生产使用。

Hacker News 最新mthurler2026/11/10 · 7 天前20 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

在 Apple Silicon Mac 上,可以通过 Kubernetes 对象运行 Linux 虚拟机,就像 KubeVirt 在 Linux 上所做的那样。它还能从 SiliconJob 对象出发,在 Mac 上原生运行 GPU 任务(PyTorch MPS 或 MLX),因此 Kubeflow Pipelines 中的一个步骤可以直接在 Apple GPU 上训练:参见 GPU 任务与基准测试。

KubeVirt 需要 KVM,而 macOS 上并不存在 KVM。KubeSilicon 用 Apple 的 Virtualization.framework 替换了 KVM 层:你声明一个 SiliconVM,Mac 上的守护进程会启动它,本地集群(例如 kind)中的 pod 可以通过网络访问它。

状态:早期阶段。它在一台 Mac 上配合 Docker Desktop 中的 kind 可以端到端运行(见 docs/validation.md)。API 名义上是 v1,但还会变化。不是生产级软件。

kubesilicon-tutorial.mp4

工作原理

kind (Docker Desktop VM) macOS host ┌──────────────────────┐ ┌────────────────────────────────────┐ │ SiliconVM objects │◄─ API watch ─┤ kubesilicond │ │ (CRD kubesilicon.io) │── status ───►│ download + convert image │ │ │ │ cloud-init ISO │ │ pod ──────── ping/ssh ─────────────►│ Virtualization.framework ──► VM │ └──────────────────────┘ └────────────────────────────────────┘

kubesilicond 运行在 Mac 上、集群之外,监视 SiliconVM 对象,并为每个对象在各自独立的分离进程中启动一个 VM。它会把 status.phase 和 status.ip 写回,并发布一个 headless Service,这样 pod 就能通过 IP 或名称(<name>.<namespace>.svc)访问该 VM。

要求:Apple Silicon Mac、macOS 13 或更高版本、Go、qemu-img(brew install qemu)、一个运行中的 kind 集群、kubectl。

make install CTX=kind-<your-cluster> # build, install the CRD, start the daemon at login

CTX 是故意要求必填的,这样守护进程就绝不会作用于错误的集群。用 make uninstall 撤销。

vm.yaml

apiVersion: kubesilicon.io/v1 kind: SiliconVM metadata: { name: demo } spec: cpu: 2 memory: 2Gi disk: source: https://cloud-images.ubuntu.com/releases/noble/release/ubuntu-24.04-server-cloudimg-arm64.img size: 10Gi cloudInit: userData: | #cloud-config users:

  • name: ubuntu sudo: ALL=(ALL) NOPASSWD:ALL ssh_authorized_keys: [ssh-ed25519 AAAA... you@host]

kubectl apply -f vm.yaml kubectl get svm -w # Provisioning -> Starting -> Running, with IP

make bin/kubesilicon # the client ./bin/kubesilicon -context kind-<your-cluster> ssh demo

from a pod: ping/ssh demo.kubesilicon.svc (namespace of the SiliconVM)

kubectl patch svm demo --type=merge -p '{"spec":{"running":false}}' # stop, keeps the disk kubectl delete svm demo # stops the VM and removes its disk

停止 kubesilicond 不会停止 VM。要停止某个 VM,请设置 running: false。守护进程再次启动时,会重新接管正在运行的 VM。

Linux 客户机无法访问 Mac 的 GPU,所以 GPU 工作原生运行在 macOS 上。SiliconJob 会在自己的 uv venv 中、在 sandbox-exec 配置内(只允许在任务目录中写入,不读取你的 home 目录)运行一个 Python 脚本,并使用 PyTorch MPS 或 MLX。同一时间只运行一个任务;其他任务以 Pending 状态等待。

apiVersion: kubesilicon.io/v1 kind: SiliconJob metadata: { name: train } spec: dependencies: [torch] # binary wheels only timeoutSeconds: 3600 inputs: [{ url: "https://.../data.csv", path: data.csv }] # GET before the job outputs: [{ url: "https://.../model.pt?X-Amz-...", path: model.pt }] # PUT after (presigned) script: | import torch print(torch.backends.mps.is_available())

kubectl get sjob -w kubesilicon -context kind-<cluster> logs train kubectl patch sjob train --type=merge -p '{"spec":{"running":false}}' # cancel hack/e2e-job.sh kind-<cluster> # end-to-end test

MLX

kubectl apply -f examples/mlx-matmul.yaml 会用 MLX 运行同一个任务。在 M5 Pro 上测得(单次运行,float32 4096x4096 matmul,在沙箱内):

examples/bench-cnn.yaml 会在两个设备上训练同一个小型 CNN(2 个卷积层、Fashion-MNIST、5 个 epoch、相同随机种子)。在 M5 Pro 上单次运行,同时 kind 集群也在运行,任务优先级为 nice 10:

GPU 上大约快 5 倍,精度相同。pipeline 示例中的小型 MLP 太小,无法区分两者。关于 PyTorch 和 MLX 上各三项基准测试(5 次的中位数,包括 CPU 胜出的情况),请见 docs/benchmarks.md。

hack/kind-kubeflow.sh # kind (k8s 1.34) + cert-manager + KFP 2.18 + CRDs + RBAC; needs Docker with 12 GB ./bin/kubesilicond -context kind-kubeflow # or: make install CTX=kind-kubeflow python examples/kubeflow/pipeline.py # needs pip install kfp; writes train_on_mac_gpu.yaml kubectl --context kind-kubeflow -n kubeflow port-forward svc/ml-pipeline-ui 8080:80 # upload the YAML at http://localhost:8080

examples/kubeflow/pipeline.py 中的 silicon_job 组件会创建一个 SiliconJob 并等待它完成;任务日志会出现在步骤日志中。任务在守护进程重启后仍会保留,如果 Mac 重启则会重试(backoffLimit)。若要在笔记本电脑实验环境之外运行,请阅读 docs/production.md。需要 uv。参见 docs/design.md。

examples/kubeflow/fashion.py 是一个 4 步 pipeline:prepare_data(pod)把数据集放入 KFP 的 SeaweedFS,presign(pod)创建预签名 URL,silicon_job 在 Mac GPU(PyTorch MPS)上训练,evaluate(pod)在 CPU 上为模型评分。Mac 上的任务通过预签名 URL(SiliconJob 的 inputs / outputs)获取数据并返回模型。

kubectl -n kubeflow port-forward svc/seaweedfs 8333:8333 # the Mac reaches the bucket here python examples/kubeflow/fashion.py # needs pip install kfp kfp-kubernetes boto3; writes fashion.yaml

在 KFP UI 中上传 fashion.yaml。在 M5 Pro 搭配 Docker Desktop 上测得(5 个 epoch,784-256-10 MLP):在 mps 上训练耗时 1.4 秒,测试准确率 0.8645(与训练报告的数字相同,说明 artifact 完整往返)。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →