返回资讯中心
外部精选
软件工程
#开发者实时流

Hawking Runtime 让 Apple Silicon Mac 通过外接显卡原生运行 Nvidia GPU 计算

来源标题:A new implementation for LLMs through Nvidia GPUs natively on Apple Silicon

Hawking Runtime 项目在 Apple Silicon Mac 上实现了真实的 Nvidia GPU 计算。其参考配置为通过雷电接口将 RTX 4000 SFF Ada 连接到 M3 Ultra Mac Studio,已演示驱动初始化、GPU 内核执行和数值计算。该项目同时提供本地推理功能,可启动兼容 OpenAI 的本地服务。

Hacker News 最新joshuahicks2026/11/16 · 昨天7 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

Hawking Runtime 是一个面向 Apple Silicon Mac 的本地推理与 GPU 计算项目。其核心理念很简单:更充分地利用你已有的硬件。两者都属于 Hawking Runtime,但可以独立使用。需要一台 Apple Silicon Mac 和 Python 3.12。

python3.12 -m pip install hawking-runtime hawking init hawking add Qwen/Qwen3.0.6B-GGUF:Q8_0 hawking serve MODEL

用 hawking add 打印出的 library ID 替换 MODEL,或者使用本地 .gguf 路径。hawking init 会检测你 Mac 的可用资源,搭建固定版本的 llama.cpp 运行时,并配置它找到的受支持的 coding agent。hawking serve 启动一个本地 OpenAI 兼容服务器,支持流式传输、工具调用和 Responses API。默认端点:http://127.0.0.1:8277/v1。你可以配合 OpenAI 兼容客户端、coding agent 以及 Open WebUI 等界面使用。完整安装与配置选项见 extension/README.md。

我们已在 Apple Silicon macOS 上演示了真实的 NVIDIA GPU 计算。我们的参考配置使用一块通过 Thunderbolt 连接到 M3 Ultra Mac Studio 的 NVIDIA RTX 4000 SFF Ada。我们演示了驱动初始化、GPU kernel 执行、数值验证,以及无需重启即可恢复。我们还试验了 PCIe 链路协商。Gen2 ×4 实测传输速率约为 Gen1 的两倍。Gen3 和 Gen4 仍在开发中,不属于本次发布内容。在本次发布中,通过公开 C ABI 进行的计算在参考配置上以 PCIe Gen1 验证通过。

eGPU 实现以开发者源码形式提供,包括 DriverKit 驱动、原生执行代码、CUDA kernel 目录、诊断工具和构建工具。

cd egpu/operations/hardware/egpu_runtime make test-fast

公开源码的目的是让开发者能够检查实现、复现工作、适配自己的硬件,并在其基础上继续构建。开发流程见 egpu/operations/hardware/egpu_runtime/README.md、SIGNING.md 和 docs/LIFECYCLE.md。

我们鼓励使用 coding agent 来完成 eGPU 的设置。硬件配置各不相同,agent 可以帮助检查你的系统、构建相关组件、识别瓶颈,并针对你的具体配置开发改进方案。克隆 Hawking Runtime 仓库并阅读 eGPU 文档。我想将我的 NVIDIA eGPU 连接到 Apple Silicon Mac 并进行优化。请检查我的 GPU、外接盒、PCIe 连接和 macOS 环境。帮助我构建并测试驱动和运行时,识别兼容性问题,并寻找提升传输速度和计算性能的机会。使用可复现的基准测试和可回退的更改。在安装或激活驱动、更改硬件策略或执行任何可能影响系统稳定性的操作之前,请先询问我。

适用条款和第三方归属见 LICENSE 和 NOTICE。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →