
llama.cpp 发布 v1.0.0,为本地 AI 生态提供更稳固基础
来源标题:llama.cpp v1.0.0 : A stronger foundation for the local AI ecosystem
llama.cpp 正式发布 v1.0.0,项目在诞生 3.5 年后迈入语义化版本阶段。该版本面向从消费级本地机器到高端企业服务器的多种硬件,支持多模态 LLM 推理,并已有多款下游应用依赖其工作。团队同时公布了版本更新规则、分发方式与后端及模型覆盖范围。
以下正文由 AI 翻译自 Hugging Face Blog(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
返回文章列表
llama.cpp v1.0.0:为本地 AI 生态奠定更坚实的基础
团队文章 已发布 2026年11月13日 点赞 4
Daniel Bevenius danbev 关注 ggml-org
Georgi Gerganov ggerganov 关注 ggml-org
merve merve 关注 ggml-org
发布版本 语义化版本更新规则 分发 开发 后端与模型覆盖 致谢 附加资源
llama.cpp 让多模态 LLM 能够在各种硬件上运行——从消费级本地机器到高端企业服务器。借助量化、优化后端和可移植的 C/C++ 实现,我们让 AI 推理在软件栈的每一层都触手可及。我们相信,这是构建跨平台和私有 AI 产品最轻量、最通用也最合理的平台。
项目诞生至今的 3.5 年里发展迅速,许多下游应用已经依赖我们的工作。随着本地 AI 和隐私在日常生活中的重要性不断提升,我们预计这一趋势还将延续。每一次新的集成都意味着更多开发者依赖我们的库接口,因此提供灵活而稳定的 API 至关重要。
今天我们发布 v1.0.0 库,正是为了彰显我们对这些开发者的责任。今后,llama.cpp 和 ggml 都将通过主版本号升级来体现 API 和 ABI 的不兼容变更。随着采用范围扩大,我们将更加严格地让下游使用者清楚地看到这些边界。
发布版本
版本 | 库 | 公共头文件 llama.cpp v1.0.0 - C/C++ 中的 LLM 推理 | libllama | llama.cpp/include/ ggml v1.0.0 - 机器学习张量库 | libggml | ggml/include/
语义化版本更新规则
以下规则适用于所有使用语义化版本的 ggml-org 项目:
分发
我们期待拓展 ggml-org 软件的传播方式,让它更好地触达开发者和最终用户。如需了解如何将 ggml-org 项目加入你的打包和发布流水线,请查看以下讨论。
开发
项目培育了一个出色的开源社区,汇聚了技艺高超、才华横溢的贡献者。随着 AI 能力在软件工程领域的快速进步,我们持续以审慎而合理的方式在开发流程中适配并集成 LLM。保持高质量的代码库、掌控架构方向、理解实现细节,将始终是我们的首要任务。
为了支撑更快的开发节奏,我们不断投入更多资源改进项目背后的 CI 基础设施。借助 HF Buckets 和 HF Jobs 等 Hugging Face 技术,我们得以扩展必要的容量,确保每一个合入主分支的变更都经过正确性验证。在 NVIDIA、AMD、Qualcomm、Arm、IBM 和 Intel 的硬件支持下,我们持续在所有主流硬件平台上部署更多自托管 runner。
后端与模型覆盖
llama.cpp 底层的机器学习引擎 ggml 的设计目标是几乎能在现存任何硬件上运行。这通过实现专门的 ggml 后端来实现。每个后端都可以编译为动态库,并可选地在运行时加载。
当前已实现后端的完整列表可在此处查看。
我们致力于持续支持所有模型架构。目前,llama.cpp 支持 150 多种架构变体,以及所有主流的投机解码方法。
致谢
Hugging Face 的 llama.cpp 团队感谢社区给予的鼎力支持。特别感谢项目的长期维护者和所有贡献者。这是一个重要的里程碑,没有我们的共同努力就不可能实现!
附加资源
llama.cpp 示例 Hugging Face 上的 ggml-org GitHub 上的 ggml-org
欢迎体验 llama.cpp 和 Hugging Face 团队倾情打造的 macOS 和 Windows 版 Llama 桌面应用。
更多来自该作者的内容
110 2026年10月2日 使用 llama.cpp 运行 OCR 模型
45 2026年4月10日 社区 🔥🔥🔥
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。