返回资讯中心
外部精选
软件工程
#开发者实时流

ggml 发布 1.0.0 版本,移除废弃 API 并新增 FP8 与 YaRN 支持

来源标题:Ggml v1.0.0

ggml 发布 1.0.0 版本,清理了废弃的公共 API 和旧版 DIAG_MASK 算子,并新增可配置 YaRN 截断与 FP8 支持。性能优化覆盖多个后端,包括 CUDA/Metal 的少行量化矩阵乘与 MoE 融合、Vulkan 的 prefill FlashAttention 路径、SYCL 的设备端 MoE 调度器以及 OpenCL 的 Adreno FlashAttention 分解实现。

Hacker News 最新cobychapple2026/11/14 · 今天25 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

ggml 1.0.0 清理了废弃的公共 API 和旧的 DIAG_MASK 操作,新增可配置的 YaRN 截断和 FP8 支持,并在各后端带来大量性能优化:CUDA/Metal 上的少行量化 matmul 和 MoE 融合、Vulkan 的 prefill FlashAttention 路径、SYCL 上的设备端 MoE 调度器、OpenCL 中 Adreno FlashAttention 的分解实现、新的 WebGPU kernel、Hexagon 算子覆盖扩展,以及避免上传未使用输入的调度器改进。

417a024 ggml:版本号提升至 1.0.0(#1690) 771b3d9 requirements:修复 Python 3.14 下的 numpy(#1691) f154959 sync:llama.cpp ec04faf fix(hexagon):让 host 构建在 Windows ARM64 上支持 clang-cl(llama/32011) b45738e examples:适配 ggml_diag_mask_inf 的移除 1514439 sync:llama.cpp 5f29555 ggml:清理(llama/29801) 076861c hexagon:新增 Q5_0 和 Q5_1 支持(llama/32094) 63ec52d 标题:CUDA:面向 BS 2-24 的少行 MMQ(llama/31533) c6fe796 ggml:将 GATED_DELTA_NET 路由到 SpacemiT RVV kernel(llama/31897) 4ae6e72 vulkan:面向 prefill 的 Intel FA kernel。(llama/29357) b22071c ggml-cpu:在 ARM NEON 上使用 4x4 simd_gemm tile(llama/32128) ba8b013 CUDA:针对 nvfp4 checkpoint,通过在 epilogue MMQ 中融合 w_s scale 来优化 prefill(llama/26048) 05f605a ggml-backend:仅预取由前序 split 计算出的输入(llama/32100) b8a5b87 ggml:通过 HP kernel 分发 SpacemiT Q4_1 32x256(llama/31929) 7a8cef5 sycl:使 oneDNN FA 缓存线程安全,并记忆化运行时失败(llama/31138) 6dfea1a sycl:修复超过 4GB 的 AOT(llama/31873) 012ff44 sycl:在 set_main_device 中使用缓存的 device-id(llama/32013) 2f9d47b CUDA:新增 cuda 调试缓冲池(llama/31919) 522d257 opencl:新增 bin kernel kernel_gemm_noshuffle_q4_0_f32_32b_trans_ila_a7_bin(llama/30947) 0f9dcb7 CUDA:在 MMQ stream-k 修正中跳过空的 MoE tile(llama/32067) 6bed9a8 opencl:为 Adreno 新增分解式 FA(llama/32046) a357e7b metal:防止 SOLVE_TRI kernel 中的越界读取(llama/32103) c36ccd8 vulkan:支持批量 tensor 拷贝 API(llama/31418) 1bffc59 backend:当 kernel 的 cluster 维度变化时重新实例化 CUDA graph(llama/31284) 8153155 ROCm/HIP:改用固定的 BLAS workspace,避免 rocBLAS 每次调用都分配(llama/31838) ad7d200 cpu:以 F32 累加 flash attention 的 V(llama/29810) 7f4a2db webgpu:新增 PAD_REFLECT_1D 支持(llama/31877) 0f51454 vulkan:允许在 CM2 下做反量化 KV 优化(llama/31526) eb4de49 vulkan:分配设备故障厂商二进制缓冲(llama/32008) 6b7f47a cuda:在小 batch size 下对少行 BF16 矩阵使用 MMVF(llama/31959) 77d01f1 cuda:为 DKQ=256、DV=256、ncols=64 新增 sm70 FlashAttention 配置分支(llama/27997) bd37ba0 cuda:fattn mma 头尺寸 40 72(llama/30285) 161ca15 CUDA:新增 OCP FP8 支持(llama/28413) 06faf80 sycl:修复 sycl CLAMP 使其真正支持 strided view(llama/31784) a986181 cuda:移除未使用的 ids 和 type_src0 参数(llama/32018) 55104b2 llama:新增 FP8 KV-cache 支持(llama/28392) 0753641 ggml:新增 MUL_MAT src1 精度测试与门控(llama/31896) 1cd16bd cuda:移除未使用的 quantize_cuda_t typedef(llama/31884) 4a18cdd cuda:将 VMM 池预留大小减半,并在 cuMemAddressReserve 失败时重试(llama/30542) 1c9ac9d CUDA:在 graph 复用时跳过兼容性检查(llama/32004) 999c725 ggml:通过设置 _XOPEN_SOURCE=700 修复 FreeBSD Vulkan 构建(llama/31701) 47bc1d8 CUDA:将 graph 和并发流状态移出 common.cuh(llama/32001) df70e12 cann:检查 buffer 类型是否受支持时提前失败(llama/31270) e447eb5 sycl:新增设备端 MoE 调度器(llama/30156) 9a1c582 vulkan:为 Qwen 模型新增分块转置 concat shader(llama/30591) 8b3c8cf ggml-rpc:在端点不可达和握手失败时优雅失败(llama/30415) f860f1d vulkan:将 GROUP_NORM workgroup 划分为 2D 以规避 maxComputeWorkGroupCount 限制(llama/31930) eb5571a vulkan:修复 MoltenVK 上的越界读写(llama/31890) 5a9a264 vulkan:在 Qualcomm 上对大头尺寸的标量 flash attention 限制为 8 行(llama/30829) 5610f41 sycl:对 Alchemist 在 head_dim=64 时解除 oneDNN 融合 SDPA 的门控(llama/31574) 487cadf hexagon:修复关闭时 64 位 FastRPC handle 被截断的问题(llama/30952) be37c9c ggml-zdnn:接受非 zdnn tensor,并在每次操作后使计算 tensor 失效(llama/31824) 294d5fc ggml:实现 TRI 的反向传播(llama/30712) e18c2c6 ggml-backend:不上传不会被读取的输入(llama/31419) e84d36b metal:防止对 Metal FA 输出缓冲区的越界写入(llama/31662) 0dd184f metal:让 ggml_tri 做选择而非按比较结果缩放(llama/30711) b6d482c opencl:引入 climits(llama/31935) 62de780 RPC:改善加载时间(llama/29413) a7276d0 ggml:在 openvino、sycl、vulkan、webgpu、rpc 上支持 YaRN 截断配置(llama/30802) da89459 sycl:缓存 device-id(llama/31126) fb57085 tests:以 f32 角度分辨率约束 test_rope 的容差(llama/31874) e43d847 opencl:新增 f32 MUL_MAT_ID(llama/31783) d1c1e4b ggml-zdnn:修复 release 二进制无法检测后端库的问题(llama/31905) 7e7b6e9 mtmd:重构:移除 clip.h,将代码整合进 mtmd(llama/31865) 5a0e536 cpu:启用 SpacemiT IME2 MXFP4 密集重打包(llama/31776) 7f4b25f llamafile:实现 bf16 和 q8_0 vxe(llama/31866) f22fc6a ggml:更新 CUDA/Metal radix Top-K,使并列选择具有确定性(llama/31084) 47b8b4f ggml-cuda:为 SSM_SCAN kernel 新增 d_state=64 快速路径(llama/31818)

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →