
开发者构建仅通过 SSH 渲染的桌面环境 microVM 并开放体验
来源标题:SSH Is a GUI Framework
开发者推出 microVM 项目 zydra.sh,其桌面环境专为通过 SSH 原生渲染而设计,无需注册即可用 ssh zydra.sh 体验。该项目基于 Kitty Graphics Protocol 等终端协议,在 SSH 加密字节流上实现图形、剪贴板、通知和鼠标支持,还附带一个 Chromium 离线恐龙游戏的 SSH 移植版。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
“鱼对水一无所知。”——马歇尔·麦克卢汉
SSH 这个工具太过无处不在,以至于我们已经忘了它到底是什么:它是一条多路复用、加密的字节流,可在跨平台渲染引擎上访问,而这套引擎几乎装在地球上每一台笔记本、服务器和手机上。不少终端协议已经在 SSH 之上逐步加入了图形、剪贴板共享(包括图片)、通知、鼠标支持等功能。
为了看看它能被推到多远,我做了一个 microVM,其中的桌面环境从底层就是为通过 SSH 原生渲染而设计的。你现在就可以试一试(无需注册):
ssh zydra.sh ssh -p 443 zydra.sh # 如果你在办公网络里 ssh -t zydra.sh dino # 这会运行 Chromium 离线 T-Rex 游戏的 SSH 移植版,纯属好玩。
zydra.sh 桌面,完全通过 SSH,在 Kitty 终端中呈现
终端协议(以及对应的终端支持)
所有终端协议处理的数据都能通过 SSH 传递,所以通常来说,任何终端协议都会自然延伸到 SSH 上。
也许最普及的新终端协议是 Kitty Graphics Protocol,它取代了更早的 Sixel 和 iTerm2 图形协议。它支持压缩、客户端侧图形状态(借助 VRAM),甚至能完全在终端里做动画。
但光有图形还构不成完整的 GUI。SSH 上还有覆盖其他各个方面的协议:
通知:OSC 99“富通知”允许携带图片、文本和正文。OSC 777(我们的第一层回退)只允许文本和正文,OSC 9(我们的最后一层回退)只允许标题。
我们在很多事情上都采用了类似的回退策略。
有一些技巧能让通过 SSH 合成画面变得很快。首先,在可能的情况下,尤其是在传输终端内容时,我们直接把它当作文本流传输,而不是不必要地走图形通道。合成器的 UI 框架本身会巧妙地把传统文本叠加在精心对齐的图形之上,从而节省带宽。在 zydra.sh 的例子里,这让我们能高效地把整个云计算机的桌面 UI 通过 SSH 流式传输出去。
其次,我们通过发送一种像素“网格”来优化图形。每个单元格都有自己的更新,前一帧会与当前帧比较,从而捕捉并发送变化,避免不停地传输整屏内容。Kitty 还同时支持 RGB 和 RGBA,因此在不需要透明度的地方去掉透明度,又能再省下 25% 的带宽。我们还会跟踪 ping 等因素,判断客户端处理流的能力:在特定单元格里降低分辨率,尤其是在滚动时,以减轻压力。我们还利用 Kitty 的客户端侧状态,在图形显示到屏幕之前就提前持有它们,同时也用来持有重复出现的 UI 组件。
并非所有终端都支持所有最新的终端协议,所以合成器还必须回退到更老的图形协议 Sixel 和 iTerm2,必要时再回退到纯文本流,用 ASCII 复刻部分 UI。在通知和其他协议上,同样存在多种协议,我们在需要时也会优雅地回退。
解析终端版本并查询其能力,可以让我们大致了解客户端支持什么。我们还会在会话启动过程中持续验证各项功能在客户端上是否按预期工作。就我自己的体验,Kitty 终端对 zydra.sh 依赖的所有图形协议都有非常可靠的支持。
VNC 的局限在于它只能发送屏幕画面,并通过帧间差分找出变化。而采用 zydra.sh 的方式,应用会直接告诉合成器哪里变了,终端文本则以文本形式发送,你可以原生地选中和复制。浏览器是一个 WebKit 构建,它把帧以 DMA-BUF 的形式交给合成器,无需回读,并且可以通过 Playwright 以 agent 方式驱动。
Web 应用固然有优势,尤其是在客户端侧状态、WASM 和 WebGPU 方面,但它们并没有真正具备 SSH 会话那种普适性和易用性。SSH 密钥可以直接兼作认证,而 -A 允许你从远程 microVM 内部再 SSH 到其他服务器。Web 应用也无法从纯 TTY 访问。
SSH 还有 sshfs,所以你可以把 VM 的文件系统挂载到本地:
sshfs zydra.sh: ~/zydra
SSH 仍然吃力之处,以及我正在做的事
在 Android 上,SSH 从技术上说可以通过 Termux 使用,尽管用起来可能比较折腾。针对这种场景,我做了 zydra.sh 合成器的一个 webapp 版本,在移动端响应更快、也更易访问。
SSH 在音频方面也仍然存在限制(而 agent 正越来越多地被用于听写),而且尽管 Kitty 图形协议帮了大忙,但由于缺乏更强的客户端侧状态和流式协议,它在优化上还有很大空间没有利用。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。