作者用两台NVIDIA DGX Spark加太阳能板在本地运行GLM 5.3 Flash模型
来源标题:$16k and a Solar Panel
作者在Re curse Center协助搭建了本地AI推理环境,用两台NVIDIA DGX Spark运行4位量化的GLM 5.3 Flash模型,因为单台显存装不下。整套设备约1.6万美元,配太阳能板即可离网运行,支持8人同时使用。作者称实测速度令人兴奋。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
有些事,听别人说和亲身体验,完全是两码事——大概一直都是这样。
我读过关于本地运行 LLM 和开源模型的文章,但你知道的——我只是个普通人,用着普通的电脑。我没有那么大的内存。我出于好玩跑过 llama,但谁没跑过呢。
我之前没意识到模型已经是个实实在在的东西了,你可以运行它们,而且它们竟然这么、这么强。
如果你有 16000 美元,又能开车/走路/坐地铁到 Micro Center,你应该买 2 块 NVIDIA DGX Spark,跑一个本地模型(GLM 5.3 Flash,量化到 4 bit)。如果你还有一块太阳能板,你就可以在荒岛上完美地、完全本地地跑起这一切,所有的 AI,所有的编程模型。
(你需要 2 块 Spark,因为 GLM 装不进一块里。你也可以在一块 Spark 上跑其他很酷的模型。那也没问题。)
(哦还有——去这个网站看看 8 个人同时使用这些 Spark 时我们每秒能拿到多少 token,你就会开始理解我为什么有点要乐疯了。)
GLM 太疯狂了,伙计。Recurse Center 那些非常好的员工决定向社区提供一个本地模型,我很乐意帮忙搭建。它大概长这样:
(授权用户)->(Digital Ocean 上运行的一个小 Django 服务器,用 Disco 检查 API 访问权限)->(2 块 NVIDIA DGX Spark,通过一根高级 AI 线缆脐带式连接)
各种可能性真是令人难以置信。没有人能把这个模型从你身边夺走,也没有人能向你收费(超过你为硬件和电力支付的费用)。Spark 不算“给孩子们的随手圣诞礼物”那种便宜,但如果你有不止一辆车,或者你是任何形式的公司,或者是公共机构,或者是一个被允许购买它们的国家,那它的价格也不算离谱。
许多(不是全部)安全顾虑都消失了,或者至少变得可控(prompt injection 仍然真实存在!)。“模型”(一堆浮点数!)不会和任何人“说话”。矩阵运算是你自己在跑。上层的东西(你的编程工具链、你的 API 层等等)完全由你决定。你可以用防火墙把东西隔开。你可以彻底脱离电网,一切照样运转。它是本地-本地-本地。(((我们跑了一个 Digital Ocean droplet 来提供可通过互联网访问的、带 API 网关的服务,但这完全可以放在 Tailscale/a VPN/你自己的本地堡垒机后面……)))
自托管爱好者(我有时也是其中之一)所有“激进”的幻想都完全实现了——你不依赖任何人的心血来潮,也不必信任他人(你确实得信任自己并应用更新;这不算什么疯狂的工作)。
啊对了,你不会自动获得模型更新((但开源模型也不是没有在持续进步))。可能存在这样一个世界:今天发布的某个模型就是你永远拥有的最后一个模型。但没有人能夺走那个模型,而那个模型……大概有 Opus 5 那个水平((我们的版本是一个更量化、更笨的 blip))。
我一半震惊,一半比以往任何时候都更兴奋。
不想显得像我即将听起来的那样,但拥有一块“AI 砖”——一件小小的家具,tokens 进 tokens 出——在我看来,似乎是我们未来小公寓里都会有的最标准的小物件。也许这是 delulu。谁知道呢,我以前也 delulu 过!很好玩!!xx
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。