返回资讯中心
外部精选
软件工程
#开发者实时流

用 Inkling、Qwen 和 Unsloth 在本地搭建个人 AI 的入门指南

来源标题:A Beginner's Guide to Local AI with Inkling, Qwen, and Unsloth

一篇入门教程介绍如何用 Unsloth 配合 Inkling 或 Qwen 模型,在 Windows 电脑上搭建可免费使用、数据私密的本地 ChatGPT 替代方案,供全家共用。作者出于对云端模型限流、成本上涨和隐私的顾虑,首次尝试在自有硬件上运行本地 AI。

Hacker News 最新Retell152026/11/22 · 今天27 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

家里也有 AI 了!用 Unsloth 搭配 Inkling 或 Qwen,在自家 PC 上搭一个免费的个人版 ChatGPT。它私密,而且全家人都能用。

随着 Qwen 这类开放权重模型发布,对于 AI 模型能处理的大多数日常任务来说,云端 LLM 提供商看起来越来越像基础设施或家电生意了。

OpenAI 和 Anthropic 已经表现出一种模式:在“最新”版本里降低模型质量,并精确控制你可以在他们的模型上运行什么。再加上不断膨胀的成本和隐私顾虑,我们就有相当充分的理由远离这种“便利”的云端体验了。

我基本也处于这个状态。我想把某些消耗 token 较多的研究、数据收集或编程任务交给 AI 模型,而不必整天盯着用量限制。所以,像任何理性的人都会做的那样,我决定搭建自己的本地 AI:一个在家里、在自己的硬件上运行的 Claude 和 ChatGPT 替代品。

由于这是第一次尝试,我的首要目标是保持简单,并把它托管在 Windows 上。如果你是新手,也可以照着做,在自己的家庭网络上跑起来一个。

硬件搞定之后,大概需要 10–15 分钟(不含下载时间)。

安装 Unsloth Desktop,下载一个适合你 GPU 显存的量化 AI 模型,设置上下文大小,然后开启局域网访问,这样家里每个人都能用。

要求不多(除了硬件)。下面是一份简短清单:

就这些。不需要终端命令、Python 环境或订阅。

这取决于你的显卡有多少显存。大致参考:8–12GB 显存可以跑较小的 9B–12B 模型,而 32GB 可以轻松运行 27B–35B 模型,并且还有充足空间支持长对话。

在消费级硬件上,我们需要更小的模型。完整大小的 Qwen 模型约 56GB,除非你用统一内存的 Mac,否则它基本上装不进消费级显卡。这就是量化的用武之地。

量化通过压缩权重并转向更低精度来缩小模型。你基本上是用一些准确度换取一个真正能装进 GPU 且运行更快的模型。

同一张照片分别以每像素 8、4、2 位存储。模型的权重从 Q8 到 Q4 再到 Q2 时,也会以同样的方式丢失细节。

如果你想知道这个取舍是否值得,那要看情况。你会发现某些类型的工作负载并不太在意,输出结果相似,而另一些则可能几乎无法使用。

本指南中,我们将在我这台配备 RTX 5090 的系统上使用 4 位量化的 Qwen3.8-27B。凭借 32GB 显存,升一档也是选项,但我希望留出更大的上下文窗口(模型一次能记住多少对话内容),而不是硬塞进能装下的最大模型。

来自我们显存计算器的 Qwen3.8-27B 在各精度下、128K 上下文的情况。在 4 位下,模型加上下文能装进 32GB 显卡,还有余量。

如果你想以出色性能运行这个级别的模型,一块贵得离谱的 RTX 5090(还记得当年 1999 美元就觉得太贵的时候吗?)如今不幸地仍算不上糟糕的“交易”。另一个选择是贵得多的企业级 GPU。

如果你的 GPU 显存较少,也仍然可以立刻跑起一个非常好用的东西。下表给你一个大致起点。

RTX 5060 8GB、RTX 3060 12GB、RTX 5070 12GB RTX 5060 Ti 16GB、RTX 5070 Ti、RTX 5080、RTX PRO 2000 Qwen3-Coder-30B、Gemma 4 26B/31B、Qwen3.8-27B、Inkling 2 Mini RTX 3090、RTX 4090、RX 7900 XTX、RTX PRO 4000 RTX 5090 32GB、RTX PRO 4500 32GB、RTX PRO 5000 48GB、RTX PRO 6000 96GB

RTX 5060 8GB、RTX 3060 12GB、RTX 5070 12GB RTX 5060 Ti 16GB、RTX 5070 Ti、RTX 5080、RTX PRO 2000 Qwen3-Coder-30B、Gemma 4 26B/31B、Qwen3.8-27B、Inkling 2 Mini RTX 3090、RTX 4090、RX 7900 XTX、RTX PRO 4000 RTX 5090 32GB、RTX PRO 4500 32GB、RTX PRO 5000 48GB、RTX PRO 6000 96GB

不妨多试几个模型,直到找到适合你需求的那个。你也可以用 GPUPartner 的显存计算器来估算。

Inkling 2 Mini 可以,Inkling 2 Small 不行。

Inkling 2 Mini 是这个尺寸级别里最新的模型。Thinking Machines Lab 于 2026 年 11 月 17 日发布:26.4B 参数、Apache 2.0、支持视觉、1M token 上下文。Unsloth 推荐的文件 UD-Q4_K_XL 为 17.6 GB。这与本指南中 Qwen3.8-27B 的文件相差不到 0.1 GB,所以它同样能装进 32GB 显卡,并留下约 14GB 给上下文。

本指南其他内容不变。先更新 Unsloth Desktop,因为 Inkling 2 需要较新的构建版本,然后在第 2 步的同一个下拉菜单里搜索 Inkling 2 Mini。

这些数字来自 Unsloth,且仅涵盖模型本身。长上下文需要更多空间。

Inkling 2 Small 只是名字里带“Small”。它是一个 594B 模型,Unsloth 发布的最小文件为 171.7 GB。那属于统一内存的领域:256GB 的 Mac Studio 或 DGX Station,而不是显卡。

可以。得益于统一内存,你会在 Apple 的 Mac 产品线里找到不错的替代方案。Mac 在运行较大模型方面相当不错,即使性能不是最好的。只要确保你选的是为 Apple Silicon 定制的 MLX 版本即可。

同样的取舍也适用于统一内存 PC,比如 MSI PRO MAX EDGE AI+ 11M 和 NVIDIA 的 DGX Spark。

共三步:安装 Unsloth Desktop、下载模型、设置上下文大小。下面我会更详细地讲解这些步骤,方便你跟着做。

首先,我们需要一个向您“提供”AI 模型的方案。追求简单让我的选择缩小到 LM Studio 或 Unsloth Desktop。两者都省去了大量终端命令,并在漂亮简洁的 UI 背后处理 Python 环境和依赖,这使它们成为首次家庭部署的绝佳选择。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →