
教程:用 Inkling、Qwen 和 Unsloth 在 PC 上搭建本地 AI
来源标题:A Beginner's Guide to Local AI with Inkling, Qwen, and Unsloth
一篇面向新手的教程介绍如何用 Unsloth 配合 Inkling 或 Qwen,在 Windows 电脑上搭建免费、私密的本地 AI,可作为 ChatGPT 的替代,全家都能使用。文章认为,开源权重模型的出现、云端模型质量下降与成本上涨、隐私顾虑,让本地部署更有吸引力。
以下正文由 AI 翻译自 Hacker News(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
家里也有 AI 了!用 Unsloth 和 Inkling 或 Qwen,在你自己的 PC 上搭一个免费的个人版 ChatGPT。它私密,而且全家都能用。
随着 Qwen 这类开放权重模型发布,对于 AI 模型能处理的大多数日常任务来说,云端 LLM 提供商看起来越来越像基础设施或家电生意了。
OpenAI 和 Anthropic 已经表现出一种模式:在「最新」版本里降低模型质量,并精确控制你可以在他们的模型上运行什么。再加上不断膨胀的成本和隐私顾虑,我们就有充分理由远离这种「便利」的云端体验。
这基本上也正是我的处境。我想把某些消耗大量 token 的研究、数据收集或编码任务交给 AI 模型,而不用整天盯着用量限制。于是,像任何通情达理的人都会做的那样,我决定搭自己的本地 AI:一个在家里、在我自己的硬件上运行的 Claude 和 ChatGPT 替代品。
因为这是第一次尝试,我的首要目标是保持简单,并把它托管在 Windows 上。如果你是初学者,也可以照着做,在你的家庭网络上跑起来一个。
硬件搞定之后,大约需要 10-15 分钟(不含下载时间)。
安装 Unsloth Desktop,下载一个适合你 GPU 显存的量化 AI 模型,设置上下文大小,然后打开 LAN 访问,让家里每个人都能用。
不需要太多东西(硬件除外)。这里是一份简短的清单:
就这些。不需要终端命令、Python 环境或订阅。
这取决于你的显卡有多少显存。粗略来说,8-12GB 显存可以跑较小的 9B-12B 模型,而 32GB 可以轻松运行 27B-35B 模型,还有充足空间留给长对话。
在消费级硬件上,我们需要更小的模型。完整尺寸的 Qwen 模型约 56GB,除非你用的是统一内存的 Mac,否则它基本上装不进消费级显卡。这时量化就派上用场了。
量化通过压缩权重并转向更低精度来缩小模型。你基本上是用一些准确度换来了一个真正装得进 GPU、跑得更快的模型。
同一张照片分别以每像素 8 位、4 位和 2 位存储。模型的权重从 Q8 到 Q4 再到 Q2 时,也是以同样的方式丢失细节。
如果你想知道这个取舍是否值得,嗯,这要看情况。你会发现某些类型的工作负载并不太在意,输出结果相似,而另一些则可能几乎无法使用。
在本指南中,我们将在我这台配备 RTX 5090 的系统上使用 4 位量化的 Qwen3.8-27B。得益于 32GB 显存,升一档也是个选项,但我更想留出更大的上下文窗口(模型一次能记住多少对话内容),而不是硬塞进能装下的最大模型。
来自我们显存计算器的 Qwen3.8-27B 在各精度下搭配 128K 上下文的情况。在 4 位下,模型和上下文能装进 32GB 显卡,还有富余。
如果你想以出色的性能运行这个级别的模型,一块贵得离谱的 RTX 5090(还记得 $1,999 就觉得太贵的日子吗?)不幸的是如今仍不算糟糕的「划算买卖」。另一个选择是贵得多的企业级 GPU。
如果你的 GPU 显存较少,你仍然可以立刻跑起一些非常可用的东西。下表给你一个大致的起点参考。
RTX 5060 8GB、RTX 3060 12GB、RTX 5070 12GB
RTX 5060 Ti 16GB、RTX 5070 Ti、RTX 5080、RTX PRO 2000
Qwen3-Coder-30B、Gemma 4 26B/31B、Qwen3.8-27B、Inkling 2 Mini
RTX 3090、RTX 4090、RX 7900 XTX、RTX PRO 4000
RTX 5090 32GB、RTX PRO 4500 32GB、RTX PRO 5000 48GB、RTX PRO 6000 96GB
RTX 5060 8GB、RTX 3060 12GB、RTX 5070 12GB
RTX 5060 Ti 16GB、RTX 5070 Ti、RTX 5080、RTX PRO 2000
Qwen3-Coder-30B、Gemma 4 26B/31B、Qwen3.8-27B、Inkling 2 Mini
RTX 3090、RTX 4090、RX 7900 XTX、RTX PRO 4000
RTX 5090 32GB、RTX PRO 4500 32GB、RTX PRO 5000 48GB、RTX PRO 6000 96GB
不妨多试几个模型,直到找到适合你需求的那个。你也可以用 GPUPartner 的显存计算器来估算。
Inkling 2 Mini,可以。Inkling 2 Small,不行。
Inkling 2 Mini 是这个尺寸级别里最新的模型。Thinking Machines Lab 于 2026 年 11 月 17 日发布:26.4B 参数、Apache 2.0、支持视觉,以及 1M token 上下文。Unsloth 推荐的文件 UD-Q4_K_XL 是 17.6 GB。这与本指南中的 Qwen3.8-27B 文件相差不到 0.1 GB,所以它以同样的方式装进 32GB 显卡,并留下约 14GB 给上下文。
本指南的其他内容都不变。先更新 Unsloth Desktop,因为 Inkling 2 需要较新的版本,然后在第 2 步的同一个下拉菜单里搜索 Inkling 2 Mini。
那些数字是 Unsloth 提供的,且只涵盖模型本身。长上下文还需要更多。
Inkling 2 Small 只是名字里有个「Small」。它是一个 594B 模型,Unsloth 发布的最小文件是 171.7 GB。那属于统一内存的领域:一台 256GB 的 Mac Studio 或一台 DGX Station,而不是显卡。
可以。得益于统一内存,你会在 Apple 的 Mac 产品线里找到不错的替代方案。Mac 在运行较大模型方面相当不错,即使性能不是最好的。只要确保你拿的是为 Apple Silicon 定制的 MLX 版本就行。
同样的取舍也适用于统一内存 PC,比如 MSI PRO MAX EDGE AI+ 11M 和 NVIDIA 的 DGX Spark。
这需要三步:安装 Unsloth Desktop、下载你的模型、设置上下文大小。下面我会更详细地过一遍这些步骤,方便你跟着做。
首先,我们需要一个能向你「提供」AI 模型的方案。我对简单的追求把我的选择缩小到了 LM Studio 或 Unsloth Desktop。两者都帮你省去了大量终端命令,并在漂亮简洁的 UI 背后处理 Python 环境和依赖,这使它们成为首次家庭部署的绝佳选择。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。