JustFit 让 27B 模型在 24GB Mac 上以完整 256K 上下文快速运行

快速开始 · 测试结果 · 文档 · 简体中文

JustFit 是一个本地推理系统，可在内存受限的 Mac 上运行 270 亿参数的语言与视觉模型。它在统一的内存预算下，协调压缩上下文、常驻投机草稿、并发请求以及 CPU/GPU/ANE 的工作。

2.3.1 已发布在 GitHub Releases 上，包含源码、Python 包和一个经过 Apple 公证的原生运行时；2.3.0 的六个 ANE 包无需改动即可使用。请按下面的说明从 PyPI 安装。

让长历史与草稿并存。热前缀测试在两个活跃请求下达到 320K 的聚合页容量，同时保留投机草稿。这是经过测试的 B2 上限，不是 320K 单请求或冷预填充的保证。

让并发工作真正有用。限制临时工作区的大小，共享压缩页，并在调度和冷重启之间保留已提交状态。

让闲置加速器发挥作用。在 M4 Pro 上使用 CPU 辅助预填充，在 M5 Pro/M6 上使用 GPU A8 路径，并在执行阶段和内存允许时使用合格的 ANE 工作。视觉卸载旨在为文本留出 GPU 容量；它并不保证降低图像延迟。

通过熟悉的 API 提供服务。兼容 OpenAI 的聊天、图像、流式输出、结构化输出，以及原生强制执行的思考预算。

实测结果

容量和速度是分开的实验。实心柱显示经过测试的 B1 上限；斜线部分将其扩展到 B2 总量。两代 JustFit 均使用各自的热前缀协议达到 320K 页容量；v2 保留了其草稿。速度使用八个固定的 SPEED-Bench 16K 任务，强制输出 512 个 token。权重格式、解码器和配置各不相同。M4 Pro/M5 Pro 具有物理 24 GiB；M6 具有物理 32 GiB，其中仅 v1/v2 B2 容量测试锁定 8 GiB。M6 速度运行使用物理 32 GiB。

在 16K 下，v2 的中位解码速率在这些配置上是 v1 的 2.0–2.5 倍。相对于上游 Splash 1.3.0，中位预填充提升 9–46%，而单例解码下降 2–9%。这些整机结果不是孤立的机制增益，也不是芯片代际排名。

支持的配置

Apple 芯片和 macOS 27.0+。参考配置：M4 Pro、M5 Pro 和 M6，至少 24 GiB。其他芯片变体未单独认证。

推荐 Python 3.12；该包声明支持 Python 3.12–3.14。

下面的预构建安装无需本地编译。从源码构建则需要兼容的 Xcode/CoreAI SDK 和 Metal 编译器工具链。

需要互联网访问和存储空间以获取固定版本的模型包：约 17.4 GB，外加依赖项、构建产物和缓存。模型仓库在检查的修订版本上无需 Hugging Face token 即可公开访问。

在 Linux 上安装 Python 包不会在那里启用原生推理。独立 GPU 引擎的 macOS 26.4 源码目标与此完整的 macOS 27/CoreAI 设置是分开的。

创建一个新环境并从 PyPI 安装固定版本：

python3.12 -m venv .venv source .venv/bin/activate python -m pip install justfit-llm==2.3.1 justfit verify justfit doctor justfit serve
--runtime-manifest https://github.com/YuhuaBillChen/justfit-llm/releases/download/v2.3.1/runtime-manifest.json
--runtime-sha256 2522e5766a48a2048b73d217f1a2aa8107ff6147f7bfb7195f5d75eecbd6e529
--ane-manifest https://github.com/YuhuaBillChen/justfit-llm/releases/download/v2.3.0/ane-index.json
--ane-manifest-sha256 fd1b71cfa9d4e785741dc2e0ba4d43f2a4dd556a62c0a61f37838b7f9e3ec99d

首次使用这些选项运行会下载并验证预构建运行时、匹配的 ANE 资源和固定模型，然后在 http://127.0.0.1:8000 上提供服务。ANE 包要求芯片和 macOS 构建版本 26A434 完全匹配；在其他构建版本上，省略这两个 ANE 选项以使用 GPU 视觉。后续运行 justfit serve 会复用已安装的组件。Ctrl+C 停止前台服务器。

首次运行如果没有运行时选项或未安装运行时，将使用源码构建路径，并需要开发者工具。快速开始涵盖了源码构建、端口和模型。

curl http://127.0.0.1:8000/v1/chat/completions
-H 'Content-Type: application/json'
-d '{ "model": "incoai/Qwen3.8-27B-Splash