返回资讯中心
外部精选
软件工程
#开发者实时流

开源项目 Maya 为混合厂商 GPU 提供 CUDA+ROCm 双后端推理

来源标题:CUDA+ROCm dual-back ends LLM inference for mixed-vendor GPUs (up to 48% faster)

开源项目 Maya 新增可选 HIP 专家助手,让 CUDA 与 ROCm 后端可在同一台机器上协同运行,混合厂商 GPU 推理最高提速 48%。该改动由 RenWuJun 提交 PR #879,CUDA 负责注意力与共享层,HIP 侧承担专家计算。

Hacker News 最新renwujun2026/11/10 · 8 天前30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

代码 Issue 81 (81) Pull request 62 (62) 讨论 Actions 项目 安全与质量 Insights 更多项目 GLM:面向混合厂商 GPU 的可选 CUDA+HIP 专家辅助模块 - #879 #879 开放中 RenWuJun 希望将 6 个提交合并到 mw00:main(mw00/project-maya:main),来源为 RenWuJun:hengha/glm-hip-helper(RenWuJun/project-maya:hengha/glm-hip-helper)。复制源分支名称到剪贴板 对话 提交 6 (6) 检查 文件变更 开放中 GLM:面向混合厂商 GPU 的可选 CUDA+HIP 专家辅助模块 #879 RenWuJun 希望将 6 个提交合并到 mw00:main(mw00/project-maya:main),来源为 RenWuJun:hengha/glm-hip-helper(RenWuJun/project-maya:hengha/glm-hip-helper)。复制源分支名称到剪贴板 对话 RenWuJun 评论于 2026 年 11 月 6 日 • 已编辑 正在加载 糟糕! 加载时出错,请刷新此页面。 复制链接 复制 Markdown 我正在为 Maya 的 CUDA 引擎添加一个可选的 HIP 专家辅助模块。我希望能在我的 Strix Halo 机器上同时使用 RTX 5090 和 Radeon 8060S:CUDA 继续负责 attention、dense/共享层及其专家缓存,而一个单独编译的 HIP 模块负责存储并计算互补的 GLM 专家。 我将本次贡献限定在现有 GLM 引擎及其专家辅助路径上,没有添加 DeepSeek 支持,也没有新增推理引擎。 我通过一次普通合并将上游 main 分支 7bf15ac68f9bb5026bd5298849608c83be4ff6c2 合入本分支,保留了已发布的历史。三处冲突分别位于 remote_experts.hpp、remote_experts.cpp 和 glm_fast_path.cu:上游的原生 EXL3 辅助模块以及异步入队/等待改动与外部辅助接口发生了交叉。 我保留了原生 EXL3/重叠行为以及插件的同步 GGUF 分发。外部 EXL3 或原生 MAYA_GLM_HELPER_OVERLAP=1 请求现在会在进入原生辅助模块 CUDA 状态之前显式失败。插件的分组 prefill 重叠仍然有效。我在 CI 中添加了一个 Release 分发/初始化回归测试,并记录了该边界;没有新增插件 ABI、kernel、SDK 或默认策略变更。 全新的 CUDA 引擎以及独立的 CUDA/HIP 7.1 模块已在该机器上构建完成。Ubuntu 服务器测试通过(793 项通过,33 项跳过),安装器/工具测试也通过(783 项通过,39 项跳过),HIP 映射、Release 分发/读取器/成本以及上游 CPU 固定测试同样通过。全部 108 个真实权重的 Maya-M 专家数组与之前的 HIP 7.1 固定结果逐位一致。在 1025 个 token、FP16 KV 和固定放置条件下,三个静态全模型端点完全一致。自适应顺序 logits 也一致;自适应批处理/重复 KL 为 6.01e-7 / 5.17e-7,top token 不变但数值不完全相同(最大绝对差为 5.62 / 2.44)。真实引擎启动时会在插件分配之前正确拒绝插件与原生辅助模块的重叠。原生多 CUDA EXL3/重叠的硬件执行在此处仍未验证。 我在 Maya-M、96 GiB UMA、上下文 9216、上游 INT8 KV 和自动 CUDA 尺寸配置下,对未修改的原生 maya.py --bench 每种模式各重跑两次。初始专家配置相同;静态 max64/share0.25,自适应 max128/share0.25。MTP2 和 DFlash 使用静态 prefill。全部八次运行均通过: 单次重复(decode / 2K / 8K):no-spec 44.6/330/962 和 45.4/330/964;adaptive 45.4/378/979 和 45.4/383/976;MTP2 64.3/320/930 和 64.4/315/926;DFlash 68.8/324/949 和 69.0/324/950。采样得到的设备级 CUDA 峰值为 31573–31591 MiB(约 30.84–30.85 GiB)。每对运行中 CUDA 缓存槽位保持稳定:no-spec/adaptive 为 2773,MTP2 为 2696,DFlash 为 2658。已检查源码/静态库/模块/加载时运行时的标识;原始构建均保留。 这些是小样本混合基线刷新,而非新的原版 CUDA+CPU 对比。我保留了现有 pack 以隔离运行时变化;上游新的 F32 router-bias 打包修复已包含在代码中,但未实际执行重新打包。吞吐量并不等同于广泛的质量验证。下方 v1.1.55 原版对比及更早的验证仍属历史记录。 插件、回读和分组 prefill 均为可选。当前范围为 Linux、单主 GPU、原生 GGUF GLM 专家,宽度 4096、中间宽度 2048、最多八条路由。不支持的插件配置会显式失败。Windows、EXL3、其他模型形状、主/辅助热专家交换不在本 PR 范围内。基于成本的 prefill 准入是下文描述的额外可选策略。 我还添加了 setup-cuda-hip.sh,因为普通 setup 一次只选择一个引擎后端。Maya 已将普通 CUDA 和 HIP 构建放在不同目录中;该脚本为单一配置准备匹配的 CUDA 引擎和外部 HIP 执行器。 在 Ubuntu 26.04 x86_64 上,引导式入口点为: ./setup-cuda-hip.sh 它会通过 apt/sudo 提供缺失的 Ubuntu 构建依赖,将 Python/CMake/Ninja 安装到 Maya 的私有环境,并提示输入 GLM 配置、HIP 设备和预算。如果不存在 CUDA GLM 配置,它会先调用普通 Maya 模型设置。现有配置可以使用 --install-deps --yes --config ... --hip-device ... --helper-mib ... 在一条命令中依次安装依赖并构建。--deps-plan 可预览缺失的系统软件包。可用的驱动/设备权限仍是前提条件;不会自动化安装任何图形驱动或外部仓库。其他 Linux 系统可使用预装依赖。 辅助模块预算必须符合实际 HIP 运行时内存;--check 可在不安装/构建的情况下进行验证,--no-start 可在不启动仪表盘的情况下完成构建/配置。仅 BIOS UMA 大小并非 HIP 运行时分配上限。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →