探How 社区

之前，小众软件介绍过 Strata，一款可以让家用普通显卡运行本地 AI 大模型的本地推理工具，此前主要是 125B 大小的 Qwen3.8-Flash-Next，激活参数 6B。@Appinn 最近

以下正文同步自小众软件，版权归原站所有，已转换为易读排版。

之前，小众软件介绍过 Strata，一款可以让家用普通显卡运行本地 AI 大模型的本地推理工具，此前主要是 125B 大小的 Qwen3.8-Flash-Next，激活参数 6B。@Appinn 最近 Strata 连续更新，不仅开始支持 Apple Silicon Mac，还新增了体积更小的 Qwen3.6-35B-A3B 模型。再次降低了硬件准入门槛。

哪些显卡能用？

目前 Strata 支持 NVIDIA、AMD 显卡，同时也为 Intel Arc 和 Apple Silicon 提供了实验性支持。显卡支持情况 NVIDIA RTX 20 系列支持 NVIDIA RTX 30 系列支持 NVIDIA RTX 40 系列支持 NVIDIA RTX 50 系列支持 AMD RX 6000 系列部分型号支持 AMD RX 7000 系列部分型号支持 AMD RX 9000 系列部分型号支持 Intel Arc实验性支持 Apple Silicon M1～M5实验性支持官方建议使用至少 12GB 显存的 NVIDIA 或 AMD 显卡。更老的也不是不行，但…很卡那种。另外，新增的 Qwen3.6-35B-A3B 目前仅支持 NVIDIA 和 AMD，不支持 Intel Arc 和 Mac 上的 Strata。

需要多大内存

Strata 把显卡的门槛降低了，但实际上需求还在，所以需要至少32GB内存才可以运行，青小蛙也是刚刚新增了8GB显存，才用了起来。 Strata 推荐至少使用 12GB 显存、32GB 系统内存。显存越大，能够缓存的模型参数越多，通常运行速度也越快。对于只有 12GB 显存的用户，推荐尝试 35B 模型的低量化版本。根据 Strata 官方发布说明，两款模型不同量化版本需要的内存及性能对比：模型量化版本内存需求或推荐配置模型特点 35B-A3BUD-Q4_K_XL32GB体积小，推荐入门 35B-A3BUD-Q6_K_XL44GB精度更高 35B-A3BQ8_052GB精度最高，资源需求较大 Flash-NextQ2_048GB速度最快 Flash-NextIQ2_XS48GB官方推荐，速度与质量均衡 Flash-NextIQ3_XXS64GB质量更好，速度稍慢 Flash-NextIQ3_S64GB质量最好，运行较慢 Flash-NextUD-IQ4_XS96GB 及以上更合适约 4-bit，更接近原始模型

Qwen3.6-35B-A3B 与 Flash-Next 性能对比

两款模型均采用 MoE（混合专家）架构，但参数规模存在较大差异。对比Qwen3.6-35B-A3BQwen3.8-Flash-Next 总参数量约 35B125B 激活参数量3B6B 模型规模较小较大复杂推理相对较弱更强编程能力适合日常编程更适合复杂任务系统资源占用较低较高 MTP 推测解码支持支持尽管 35B 模型规模更小，它仍然具备较强的日常对话、文字处理和编程能力。而且，Strata 为它提供了 MTP（多 Token 预测）加速。在官方使用 AMD Radeon AI PRO R9700 的测试中：推理模式生成速度普通推理83 tokens/s 开启 MTP 2161 tokens/s 开启 MTP 2 后，生成速度提高了约 94%。

Strata 现在也支持 Mac 了

从 Strata v0.1.44 版本开始，加入原生 Metal 后端，支持 Apple Silicon M1～M5 芯片，要求 macOS 15 或更新版本。目前属于实验性支持，需要在 Mac 上克隆代码后，运行 ./setup.sh，由安装程序从源码编译推理引擎。现阶段 Mac 版本还有一些限制：只支持单个并发请求、官方仅验证了最高 32K 上下文，Qwen3.6-35B-A3B 暂未适配。官方提供了两组值得参考的测试数据：设备模型生成速度 Mac mini M4，32GBFlash-Next Q2_08～14 tokens/s Mac M5 Max，128GBFlash-Next IQ3_S95～103 tokens/s 依旧，最低档内存限制是 32GB

存储空间需求

最后，还需要准备不小的硬盘空间，用来存储模型文件本身：模型量化版本模型大小推荐系统内存 Qwen3.6-35B-A3BUD-Q4_K_XL22.4GB32GB 35B-A3BUD-Q6_K_XL31.8GB44GB 35B-A3BQ8_036.9GB52GB Flash-Next 125BQ2_066.4GB48GB Flash-NextIQ2_XS68.0GB48GB Flash-NextIQ3_XXS75.8GB64GB Flash-NextIQ3_S83.6GB64GB Flash-NextUD-IQ4_XS93.7GB96GB 青小蛙运行了 IQ2_XS 量化版本，使用了大概100GB的 SSD 存储空间：

获取 & 安装

GitHub Strata 除了降低硬件门槛，也降低了使用门槛，你可以将安装交给 AI：

为我在这台 PC 上设置 Strata：https://github.com/Niko1221/Strata - 关注该存储库中的docs/AI_SETUP.md。

或者直接下载源码，然后运行：

Windows: 双击 START-HERE.bat
Linux / macOS: 运行 ./setup.sh 根据页面提示就行了，成功之后，会自动弹出浏览器，可以对话：还可以把模型拿给其他应用使用：快去试试吧，有问题可以来留言讨论。不过，当运行成功之后，系统内存也消耗殆尽了，所以需要买更多的内存。原文：https://www.appinn.com/strata-macos-35b-model/

Strata 现已支持 macOS，还能运行更轻量的 Qwen3.6-35B-A3B 大模型了