
NOX Local:在8GB显卡上运行4B模型的本地编程智能体
来源标题:NOX Local – a coding agent for 4B models on an 8 GB GPU
NOX-Local 是一款完全本地运行的编程智能体,直接驱动 llama.cpp,无需 API 密钥、账户或联网,支持离线使用。它专为 4B 小模型重写了智能体循环,减少工具数量和提示长度,以适配小模型的工具调用能力。参考机器 RX 6500 XT 8GB 显卡、Ryzen 5 5600GT、16GB DDR4 内存即可运行。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
一个只在你自己的机器上运行的编程 agent。
自有终端 UI · llama.cpp on Vulkan · 无需 API key · 可离线工作
NØX-Local 是为那些希望工作留在自己电脑上的人准备的编程 agent。它直接驱动 llama.cpp,因此没有 API key、没有账号、没有按 token 计费,也不会向服务器发送任何东西。整个 agent 循环围绕一个大多数 agent 都忽略的约束构建:一个 4B 模型必须能够使用它。
云端 agent 会在你的配额用完时停止,而且它们能看见自己读取的每一个文件。本地模型免费且私密,但为前沿模型编写的 agent 循环在小模型上会崩溃:工具太多、prompt 塞满窗口、小模型格式化工具调用时略有偏差。
NØX-Local 就是那个循环,为小模型重写:
参考机器(RX 6500 XT 8 GB、Ryzen 5 5600GT、16 GB DDR4)上的数据在 docs/BENCHMARKS.md 中。
终端 UI
侧边栏显示模型、上下文和计划;内联 diff 卡片;全屏 /diff;命令面板;鼠标选择;vim 键位
离线
完全在本机运行。只有 WebSearch 和 WebFetch 会访问网络;/web off 会移除它们
审批
manual 在每次更改前询问,plan 为只读,auto 只对危险命令询问,yolo 从不询问。每次审批都会显示 diff
撤销
每轮之前创建 Git checkpoint。/rewind 恢复文件,/redo 将其放回,/revert 修复单个文件
上下文
侧边栏中的计量器。达到 70% 时建议 /compact,它会总结对话线程并在全新上下文中继续
会话
自动保存,/resume 或 -c,/fork 分支一个线程,/search 在所有会话中搜索
项目记忆
由 /init 写入 NOX.md,加载到每个 prompt 中
MCP
服务器来自 /.nox-local/config.toml 或项目的 .mcp.json,用 /mcp 逐个开启
Skills
来自 .nox/skills、/.nox-local/skills 和 ~/.claude/skills 的 SKILL.md 文件夹。内置 find-skills、create-skill 和 visualize
Hooks
在 prompt 时、工具之后以及轮次结束时执行 shell 命令;可选自动提交
后台工作
模型可以启动 dev server,取回 URL,然后继续工作
Headless
nox-local -p "…" 用于脚本和 CI,--output json 用于事件流
快速开始
环境要求
带有支持 Vulkan 的 GPU 的 Linux。8 GB 显存是经过测试的目标;更小的模型可以在更少显存上运行。
如果从源码构建,需要 Go 1.27+。
第一个模型需要约 3 GB 磁盘空间。
没有 GPU?llama-server 会回退到 CPU,NØX-Local 仍可运行,但预计每秒只有几个 token。应该尝试最小的模型。
sudo pacman -S --needed cmake ninja vulkan-headers spirv-headers shaderc # Arch
Debian/Ubuntu: sudo apt install build-essential cmake ninja-build libvulkan-dev glslc
git clone --depth 1 https://github.com/ggml-org/llama.cpp ~/.nox-local/llama.cpp
cmake -S ~/.nox-local/llama.cpp -B /.nox-local/llama.cpp/build -G Ninja /.nox/llama.cpp 中查找 llama-server。如果你的构建在别处,请设置该变量:
export NOX_LLAMA_SERVER=/path/to/llama-server
2. 安装 NØX-Local
git clone https://github.com/Johnny008-creator/nox-local && cd nox-local
sh scripts/install.sh # 构建并安装到 ~/.local/bin
或者从 Releases 获取二进制文件:
curl -L -o nox-local https://github.com/Johnny008-creator/nox-local/releases/latest/download/nox-local-linux-amd64
chmod +x nox-local && mv nox-local ~/.local/bin/
安装 Go 1.27+ 后,一条命令就够了:
go install github.com/Johnny008-creator/nox-local/cmd/nox-local@v1.0.0-rc1
3. 获取模型
nox-local models # 带大小的目录,以及你已有的模型
nox-local pull qwen3.5-4b # 3.0 GB,下载中断后可续传
模型以普通 GGUF 文件存储在 ~/models 中(可用 NOX_MODELS 更改)。任何 llama.cpp 兼容的 GGUF 都可以;目录只列出在此处测量过的模型。
cd ~/code/my-project
nox-local
输入一个请求。在 auto 模式下,agent 会编辑文件并运行命令,并在任何危险操作前询问。Shift+Tab 切换模式,Ctrl+O 选择另一个模型,Ctrl+C 按两次退出。
nox-local -p "which files are in this directory? use the Glob tool"
答案应该提到真实文件,输出中应该包含一次工具调用。如果它凭记忆回答,说明模型对工具来说太小了——试试 9B。
五个模型,在参考机器上测量:AMD Radeon RX 6500 XT 8 GB(Vulkan、RADV)、Ryzen 5 5600GT、16 GB DDR4,运行 Omarchy 4.5(Arch Linux)。设置是 NØX-Local 使用的设置:--fit 放置、KV cache q8_0、flash attention。
五个都能在 8 GB 显卡上运行。用 /model 选择;对话会延续,模型在你下一条消息时重新加载。-m <id> 从指定模型开始。
默认 / 小修改:Qwen3.5 4B。它是这里唯一感觉即时的模型。
实际工作、捷克语、更长的计划:Ornith 1.5 9B——在此硬件上速度与质量比最佳。
读取长文件、简短回答:Nemotron Bolt E4B。它的 prompt 处理是五个中最快的;生成则不是。
可以等待的难题:Saluki 27B。在这块 GPU 上它是批处理任务,不是聊天伙伴。
数据来自该机器上的 llama-bench(-p 512 -n 128、q8_0 KV、flash attention),但 Saluki 除外,它无法单独放进 GPU,是通过 llama-server --fit 测量的。其他 GPU 也可以运行;数据会不同。方法和更早的测量:docs/BENCHMARKS.md。
输入 / 查看列表,或 Ctrl+K 打开命令面板。
值得记住的按键:Shift+Tab 模式,Ctrl+T 力度,Ctrl+O 模型,Esc 中断,Alt+Enter 为当前轮次排队一条消息,Ctrl+K 命令面板。
在 manual 模式下,每个不是纯读取的更改都会先询问;在 auto 模式下危险命令会询问。卡片显示 diff 或命令,a 会在本次会话剩余时间内允许该工具或命令。受保护文件(.env、密钥、.git/)始终会询问,yolo 模式除外。
-DGGML_VULKAN=ON -DCMAKE_BUILD_TYPE=Release -DLLAMA_CURL=OFF
cmake --build /.nox-local/llama.cpp/build --target llama-server --parallel
NØX-Local 会依次在 $NOX_LLAMA_SERVER、PATH、/.nox-local/llama.cpp、
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。