返回资讯中心
外部精选
软件工程
#开发者实时流

SHARD 开源分布式推理引擎:把局域网多台电脑的显存和内存池化跑大模型

来源标题:Show HN: Shard – Distributed AI Inference Across Multiple Computers

开源项目 SHARD 发布,通过局域网把多台机器的 GPU 显存和系统内存池化,让单机装不下的 14B、32B、70B+ 模型能分布式推理。它用 PyTorch、FastAPI 和 llama.cpp RPC 构建,通过 UDP 发现节点、FastAPI SSE 接口通信,并带原生 C++20/MASM AVX2 SIMD 加速。

Hacker News 最新avelone2026/11/17 · 今天30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

English | Русская версия | Қазақша нұсқасы 一个网络。多台服务器。共享的 AI 基础设施。 分布式本地 LLM 推理引擎,跨 LAN 机器池化 GPU VRAM 和系统内存——由 PyTorch、FastAPI、llama.cpp RPC 以及原生 C++20 / MASM AVX2 SIMD 内核驱动。 SHARD 分布式推理集群:中央主协调器通过 UDP 发现(:8001)和 FastAPI SSE 端点(:8000)在连接的 LAN 工作节点之间池化 VRAM。 概览 · 工作原理 · 功能 · 快速开始 · CLI 参考 · 架构 · 仪表板 · 社区 SHARD(shard-engine)是一个开源分布式本地 LLM 推理引擎,使用 Python(FastAPI + PyTorch)编写,后端为 GGUF / llama.cpp,并具备原生 C++20 / MASM AVX2 SIMD 加速。 在本地运行能力较强的 14B、32B 或 70B+ 开放权重语言模型通常会撞上一堵硬性硬件墙:单卡 VRAM 限制。大多数开发者、实验室和小团队拥有多台机器——一台台式游戏 GPU、一台工作站笔记本、一台辅助迷你主机——它们的内存分散在局域网中,而没有任何单一设备能容纳完整的模型权重和 KV 缓存。 SHARD 将你局域网(LAN)中闲置的 GPU 和系统内存整合为一个单一的逻辑推理集群: 本地 AI 开发者与研究人员,在家用实验室或办公室工作站上运行 7B–70B 的 GGUF 或 PyTorch SafeTensors 模型。 软件工程团队,为 Cursor、Claude Code、Aider、Continue、Zed 和 OpenCode 托管私有、零遥测的编码助手。 AI Agent 构建者,通过 OpenAI Python SDK、LangChain 或 LlamaIndex 针对自托管硬件编排多 Agent 流水线。 SHARD 的工作原理 SHARD 将分布式本地 AI 基础设施转变为四步工作流:CREATE → SHARE → CONNECT → USE。 使用 shard start 或 python main.py 启动本地 SHARD 节点。引擎通过 hardware.py 探测你的 CPU、系统内存以及 NVIDIA CUDA / Apple MPS GPU,加载你选择的 GGUF 或 Hugging Face 模型,并在 http://localhost:8000 上启动 FastAPI 服务器和 Web UI。 使用 shard lan create --open 开启 LAN 计算池(或通过 shard lan create 生成配对码)。SHARD 在端口 8001 上广播 UDP 发现信标,并暴露 /api/lan/* 端点,使你子网内的对等机器可以池化它们的 VRAM 和 RAM。 在网络中的任意第二台计算机上,运行 shard lan join <master-ip> --share。工作节点完成 HTTP 握手(POST /api/lan/pair),启动其本地 RPC 张量工作进程,发送周期性健康心跳,并将其 GPU/RAM 贡献给集群。 将编码 IDE、自主 AI Agent 或自定义 Python 应用连接到 http://<master-ip>:8000/v1/chat/completions 或 /v1/messages。主节点协调跨连接节点的层执行,并通过 Server-Sent Events(SSE)流式返回 token。 以下列出的每项功能均已直接对照 SHARD 源码树(v1.8.1)验证。 类别 能力 源模块 描述 LAN 集群与分片 UDP 自动发现与 LAN 池化 lan.py, docs/LAN_SHARDING_DESIGN.md 广播 UDP 信标(:8001),通过配对码或 --open 模式配对节点,监控节点心跳(/api/lan/heartbeat),并跨机器池化 VRAM/RAM。 推理后端 双 PyTorch 与 GGUF(llama.cpp)引擎 engine.py, gguf_backend.py 在 CUDA/CPU/MPS 上运行 Hugging Face transformers / safetensors 模型,并通过受管理的 llama-server 和 ggml-rpc-server 子进程运行量化 GGUF 权重,支持可配置的 GPU 层卸载(-ngl)。 硬件规划 预检模型适配顾问(shard fit) fit.py, hardware.py 在下载前检查模型架构参数(config.json 或参数启发式)与主机 VRAM 和 RAM 的匹配情况,返回 GPU、HYBRID 或 IMPOSSIBLE 判定、最大上下文长度、估计 tok/s 以及量化建议。 原生加速 C++20 与 MASM AVX2 SIMD 内核 native/shard_core.cpp, native/shard_asm.asm, shard_bridge.py 自定义 C++20 和 x86-64 AVX2 汇编例程,用于 RMSNorm、LayerNorm、旋转位置嵌入(RoPE)、Softmax、GELU、SiLU 和 MatMul,通过 ctypes 加载。 API 与流式传输 兼容 OpenAI 与 Anthropic 的服务器 server.py 提供 /v1/chat/completions、/v1/completions、/v1/models、/v1/messages(Anthropic 协议)、/api/generate 和 /api/generate/stream,支持实时 Server-Sent Events(SSE)以及可选的 API key 认证(shard key)。 Web 控制面板 零依赖仪表板与 Playground dashboard.html 内置浏览器 UI,位于 http://localhost:8000,具备实时 GPU/VRAM/RAM 遥测、Hugging Face 模型搜索与下载、量化选择器、流式聊天 Playground、LAN 节点管理器以及一键 IDE 集成片段。 容器化 Docker 与 NVIDIA GPU Compose 栈 Dockerfile, docker-compose.yml 生产就绪的容器配置,具备持久化命名卷(shard_models_volume、shard_data_volume)和 NVIDIA GPU 预留。 协作训练 可选的 SOUP 微调生态 soup_adapter.py, feedback.py, training.py, docs/COLLABORATIVE_TRAINING.md 隐私优先的同意反馈、秘密/PII 脱敏、不可变 SFT/DPO 数据集快照、带取消功能的动态 SOUP 训练编排、Baseline 与 Candidate 评估、模型版本管理、部署以及一键回滚。 统一托管与隐私 模型优先托管与私有会话 server.py, lan.py 在服务器创建/发布前强制执行已加载模型验证(HTTP 409 MODEL_NOT_READY),保证零泄漏的参与者隔离私密聊天,并强制执行计算工作节点的 VRAM/CPU 配额。 全局网络与发现 自动网络与一键集群 net_strategy.py, net_discovery.py, cluster.py 在 shard start 时自动初始化网络、带搜索和 VRAM 过滤器的公共服务器目录、STUN/NAT 穿透、盲加密 WebSocket 中继、加入前硬件探测、明确同意强制执行以及分布式张量流水线。 实验性功能

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →