
llama.cpp 团队推出 Mac 和 Windows 桌面应用 llama.app,可运行精选开源模型
来源标题:Desktop app from the llama.cpp team (Mac OS and Windows)
llama.cpp 团队发布桌面应用 llama.app,面向 Mac 和 Windows,提供一批精选开源模型,每个都能直接在应用内本地运行。列表中的模型包括 Liquid AI 的 LFM 2.5 24B-A2B(需 24GB+ 内存)、阿里的 Qwen 3.8 27B(32GB+)、Z.ai 的 GLM 5.3 320B-A18B(192GB+)、Meta 的 Muse Glimmer 30B 和 Google 的 Gemma 4 系列等。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
llama.cpp 团队推出的桌面应用(支持 Mac OS 和 Windows)
精选的开放模型——每一个都能在 llama.app 中运行。 LFM 2.5 24B-A2B 24 GB+ 内存 Liquid AI 面向推理和工具使用的快速本地模型。 LFM 3 Omni 2B 8 GB+ 内存 Liquid AI 的小型全模态模型,支持文本、图像和音频,从语音转写到就照片提问都能胜任。 Qwen 3.8 27B 32 GB+ 内存 阿里巴巴的多模态中型模型,适用于编程和研究,支持 256K 原生上下文的长程智能体工作。 GLM 5.3 320B-A18B 192 GB+ 内存 Z.ai 面向大型配置的智能体编程模型,具备视觉能力,并带有 MTP head 以加快生成速度。 Qwen 3.8 Flash Next 125B-A6B 128 GB+ 内存 Qwen 4 架构的实验性预览版,面向大型配置上的长上下文智能体,具备视觉能力和 256K 上下文。 Muse Glimmer 30B 32 GB+ 内存 Meta 的本地模型,可在你的笔记本电脑上运行,驱动常驻智能体,具备编程、工具使用和图像理解能力。 Gemma 4 E2B E4B 12B 26B-A4B 31B 16 GB+ 内存 Google 面向笔记本电脑的最强开放智能体模型,具备视觉、音频能力,并支持 140 多种语言。 GPT-OSS 20B 120B 24 GB+ 内存 OpenAI 的开放权重系列,面向本地推理和智能体,具备工具使用、函数调用和可调节的推理强度。 更多模型 Nemotron 3.5 Super VL 120B-A12B 128 GB+ 内存 NVIDIA 的大型混合 Mamba-Transformer 专家混合模型,具备视觉能力。擅长推理、编程和文档处理,上下文最高可达 1M。 Muse Spark Open 816B-A42B 512 GB+ 内存 Meta 的大型高性能智能体模型,接受图像和音频输入,具备可调节推理能力和 1M 上下文。 Flint 40B-A2.5B 48 GB+ 内存 Recursive 的编程智能体模型:调查代码库、修复缺陷、实现功能并编写测试。 Nemotron 3.5 Lightning 30B-A3B 32 GB+ 内存 NVIDIA 的高效长上下文模型,面向本地智能体,具备可切换的推理模式和最高 1M 上下文。 Laguna XS 2.1 33B-A3B 32 GB+ 内存 Poolside 的紧凑型编程智能体,面向长程工作,具备交错推理和 256K 上下文。 Laguna S 2.1 118B-A8B 96 GB+ 内存 Poolside 的较大编程模型,面向大型软件项目,具备 1M 上下文。 DeepSeek V4 304B 192 GB+ 内存 DeepSeek 面向大型配置的推理和编程模型,结合了稀疏 MoE 的效率与 1M 上下文。 Qwen 3.6 27B 35B-A3B 32 GB+ 内存 阿里巴巴的高效多模态模型,在编程、推理和视觉任务上表现超出其规模。 GLM 4.7 Flash 32 GB+ 内存 Z.ai 的快速本地智能体编程模型,专为软件工程、浏览器自动化和多轮工具使用而打造。 Qwen 3.5 Small 0.8B 8 GB+ 内存 阿里巴巴的紧凑型多模态推理模型,面向手机和笔记本电脑,具备视觉、可切换思考,并支持 201 种语言。 Devstral 2 24B 123B 24 GB+ 内存 Mistral AI 的中型模型,面向自主软件智能体,旨在探索代码仓库、跨文件编辑并解决工程任务。 Ministral 3 3B 3B Reasoning 8B 8B Reasoning 14B 14B Reasoning 8 GB+ 内存 Mistral AI 的紧凑型多模态模型,面向设备端应用,在 3B、8B 和 14B 规模上均提供强劲性能。 决策模型 这类模型接收一份文档和带类型的问题,并为每个选项返回一个概率——用于工单路由、内容审核、选择智能体的下一步操作。它们不聊天;应用通过 API 调用它们。如何使用 ↗ Kev 0.8B 4B 9B 8 GB+ 内存 决策模型,接收上下文和带类型的问题作为输入,并为每个选项输出经过校准的概率。 Clef Flash 9B 16 GB+ 内存 Cloudflare 的决策模型。读取文本、JSON 或图像状态,并在单次处理中为每个带类型问题的每个选项返回概率。 Laya 421M 8 GB+ 内存 面向文档和结构化数据的多语言决策模型,可跨 100 多种语言返回经过校准的概率。 Bespoke Nimble 9B 16 GB+ 内存 非商业用途 Bespoke Labs 的中型决策模型。给定上下文和带类型的问题,它为每个选项返回一个概率。 嵌入模型 这类模型将文本——其中一些还能处理图像和音频——转换为向量,用于搜索、检索和聚类。它们不聊天;应用通过 API 调用它们。如何使用 ↗ EmbeddingGemma 2 740M 8 GB+ 内存 Google 的多模态嵌入模型。将文本、图像、音频和代码映射到同一个共享向量空间,用于搜索和检索。 在 Hugging Face 上还能找到数千个 GGUF 模型 ↗,然后在模型页面的“Use this model”下选择 Llama。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。