
Voxl 用 Rust 实现低延迟远程桌面串流,浏览器可直接解码
来源标题:Voxl – fast web remote desktop streaming
Voxl 是一个用 Rust 编写的低延迟远程桌面串流工具,可将 X11、macOS 或 Windows 屏幕以 H.264 经 WebSocket 推送到浏览器,由 WebCodecs 解码。测试中平均 60 FPS、中位延迟 12–99 ms,而 noVNC 平均不足 8 FPS。它还支持输入、剪贴板、音频、麦克风及文件传输和动态分辨率。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
用 Rust 编写的低延迟浏览器桌面串流工具。voxl 将 X11 显示、Mac 屏幕或 Windows 桌面以 H.264 格式通过 WebSocket 串流到一个用 WebCodecs 解码的小型 Web 客户端,支持输入、剪贴板、音频、麦克风、文件和文件夹传输以及动态分辨率。
cargo install voxl-server # 需要 x264、libyuv、Opus、PulseAudio 和 esbuild(见 Usage) DISPLAY=:1 voxl # 串流显示 :1,并打印一个可让你登录的链接
打开它打印的链接。在 Mac 或 Windows PC 上,voxl 改为串流该机器自身的屏幕;参见 macOS 和 Windows 部分。
voxl-doom-desktop.mp4
在下面的每项测试中,voxl 平均达到 60 FPS,中位延迟为 12–99 ms;noVNC 平均不到 8 FPS。
一台 16 vCPU 的 AMD EPYC 9334 虚拟机(无 GPU),2560x1600 的 Xvfb 桌面,相同的工作负载,每路串流都由一个原生客户端解码,该客户端读取绘制在内容中的像素标记。单元格内容为 FPS(最差的那一秒),然后是延迟 p50/p99,从内容被绘制到帧被解码。voxl 一列是它在每项测试中的最佳运行结果。要复现,参见 bench/。
构建(需要 Rust、pkg-config、clang、x264、libyuv、libopus、libpulse 和 esbuild;nix-shell 会提供所有这些):
nix-shell cargo build --release
或者从 crates.io 安装,前提是你的系统上有相同的库(crate 名为 voxl-server,二进制名为 voxl):
cargo install voxl-server
针对某个 X 显示运行它,然后打开它打印的链接(?stats 会添加一个 FPS 叠加层):
DISPLAY=:1 ./target/release/voxl --port=6901
打印:open http://localhost:6901/?token=4f1c… to sign in
用 -shmem 启动 Xvfb 以实现零拷贝捕获,并使用打过补丁的 Xvfb(nix-build -E 'with import <nixpkgs> {}; callPackage ./xvfb.nix {}')以获得平滑滚动。voxl 接受 selkies 的命令行参数;其他 selkies 参数会被忽略。voxl --help 会列出每个参数及其默认值,voxl --version 会打印版本。
voxl 在显示桌面或接受输入、文件或 API 调用之前会要求输入密码。用 --basic-auth-password 或 VOXL_PASSWORD 给它设置一个;否则它会在启动时随机生成一个,并打印一个可让你登录的链接。有三种进入方式:
页面的脚本和 /healthz 无需密码即可加载。如果 voxl 位于一个自身负责登录的代理之后,用 --enable-basic-auth=false 关闭 voxl 的登录。
voxl 只响应发往某个 IP 地址或 localhost 的请求,且只接受来自它自己页面的请求。这样可以阻止其他网页——浏览器允许它们连接任意地址,包括域名被指向 voxl 地址的页面(DNS 重绑定)。要通过主机名访问 voxl,例如通过代理或以 my-pc.local 的形式,用 --allowed-hosts 指定该主机名。要允许其他站点上的页面连接,用 --allowed-origins 指定该站点。
非浏览器的程序(curl、脚本、agent)不发送 Origin,照常连接。被拒绝的请求会收到 403,其中会指明需要添加哪个参数。
截图和录制(启动 voxl 时设置 VOXL_PASSWORD,并在请求中带上它):
以 PNG 格式获取屏幕
curl -u ":$VOXL_PASSWORD" -o shot.png localhost:6901/screenshot
接下来 10 秒的 MP4
curl -u ":$VOXL_PASSWORD" -o clip.mp4 "localhost:6901/record?seconds=10"
或者开始……
id=$(curl -u ":$VOXL_PASSWORD" -s -X POST localhost:6901/record/start | jq .id)
……完成后停止
curl -u ":$VOXL_PASSWORD" -o clip.mp4 -X POST "localhost:6901/record/stop?id=$id"
录制的内容就是 voxl 已经发送给观看者的 H.264,直接保存为 MP4 而不重新编码,因此不会额外消耗 CPU。它不包含光标(由观看者绘制),并且一旦发生分辨率变化就会结束。
/wait 在屏幕稳定或发生变化时返回,这样 agent 就不必在每次操作后睡眠并祈祷时间够长:
一旦 300 ms 内没有任何变化
curl -u ":$VOXL_PASSWORD" localhost:6901/wait
静止 1 s,30 s 后放弃
curl -u ":$VOXL_PASSWORD" "localhost:6901/wait?idle=1000&timeout=30000"
该矩形区域内的第一次变化
curl -u ":$VOXL_PASSWORD" "localhost:6901/wait?change®ion=0,0,800,600"
{"changed":true,"timed_out":false,"seq":812,"waited_ms":340}
idle(毫秒,默认 300)是屏幕需要保持静止的时长,最早从请求发出时开始计算,这样刚执行的操作才有时间显示出来;change 则在第一次变化时返回。region=x,y,w,h 只监视该矩形区域(精确到 16 像素块),timeout(毫秒,默认 10000)则放弃等待。changed 表示等待期间是否有任何变化。变化可能先于请求到达,因此要等待某个操作造成的结果,可以传入之前某次 /wait 的 seq 或某次截图的 X-Voxl-Seq 头:/wait?change&since=812 如果在它之后有任何变化就立即返回。闪烁的文本光标大约每秒重绘两次,所以要把 idle 保持在 500 ms 以下,或者把光标排除在 region 之外。voxl 已经知道屏幕的哪些部分发生了变化(XDamage、ScreenCaptureKit 和 DXGI 会报告这些),因此等待无需截图或轮询。
voxl 也能串流 Mac 自身的屏幕,具备 Linux 版本的所有功能(ScreenCaptureKit 捕获、CGEvent 输入、NSPasteboard 剪贴板、系统音频)。
brew install x264 opus pkgconf esbuild cargo build --release ./target/release/voxl --port=6901
打开它打印的链接。在 Mac 上,除非 --addr 另有指定,voxl 监听 127.0.0.1,因为串流的是你的整个屏幕。macOS 会向 voxl(或启动它的终端)请求屏幕录制和辅助功能权限。要使用麦克风,请安装一个环回设备(brew install blackhole-2ch),并在需要听到你声音的应用中将它选为输入。
其他参数与 Linux 上相同;--audio-device-name、--microphone-fifo 和圆角相关参数不适用。
voxl 也能串流 Windows 桌面(Windows 10 或更高版本),具备 Linux 版本的所有功能(DXGI Desktop Duplication 捕获、SendInput、剪贴板文本和图像、WASAPI 系统音频)。用 Rust、vcpkg、LLVM(用于 bindgen)和 esbuild 构建:
vcpkg install x264 libyuv opus --triplet x64-windows-static-md $env:VCPKGRS_TRIPLET = 'x64-windows-static-md' npm install -g esbuild cargo build --release
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。