
Screen-relay 发布:浏览器或命令行以 120fps 流式传输并控制任意桌面
来源标题:Screen-relay – stream and control any desktop at 120fps from a browser or a CLI
Screen-relay 支持在浏览器中以 H.264 格式流式查看并控制 Linux 虚拟机、沙箱或容器,以及 Mac 和 Windows 桌面,帧率达 120fps。AI 代理可通过 CLI 逐条执行截图、点击、输入等命令,CLI、Node SDK 及 HTTP/WebSocket API 共享同一会话。该工具要求 Node 22 以上,Linux 默认使用 X11 后端,也支持 Wayland。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
桌面串流与控制,面向人类和 AI agent:在浏览器里观看桌面,在 shell 里点击、输入和截图。
screen-relay 在 Linux VM、沙箱或容器里启动一个桌面,或者挂接到 Mac 的显示器、Windows PC 已登录的桌面,并以 H.264 串流到浏览器。agent 一次一条命令地控制同一个桌面:截一张图,点击或输入,再截一张图检查结果。screen-relay CLI、Node SDK 以及 HTTP 和 WebSocket API 都接入同一个会话。
npm install -g screen-relay screen-relay install # 系统软件包和引擎构建(仅首次) 要求:Node 22 或更新版本。Linux 上:Debian、Ubuntu、Fedora、Arch Linux 或 Alpine。macOS 上:Homebrew 和 Xcode Command Line Tools。Windows 上:x64 平台的 Windows 10 或更新版本,且有用户登录在 PC 屏幕上。
脚本与 agent:screen-relay install --yes 跳过确认。在终端里,install 在安装软件包前会询问。
Wayland:screen-relay install --backend wayland。Linux 上默认后端是 X11。
仅客户端:只做 npm install 就足以控制另一台机器上的会话。
要求、后端和 Windows 相关内容见 Getting started。
screen-relay up -d # 启动一个显示器、一个桌面和引擎 screen-relay run -- xfce4-terminal # 在桌面上打开一个应用 screen-relay screenshot screen.png # 查看屏幕 screen-relay click 0.5 0.5 # 坐标是屏幕的比例 screen-relay type "echo hello" screen-relay key Enter screen-relay down
up 会打印一个查看器链接。在支持 H.264 WebCodecs 的浏览器中打开它:当前版本的 Chrome、Edge 或 Safari。
引擎监听 127.0.0.1:8080。从另一台机器访问时,用 ssh -N -L 8080:127.0.0.1:8080 user@your-vm 转发端口,或参见 Remote access。
在尚未配置好的机器上,up 会先执行与 install 相同的设置。
输入命令成功只表示引擎应用了该输入,并不表示应用做出了反应。截图检查一下。
完整演练见 Getting started。
screen-relay up 启动一个会话:一个虚拟显示器、一个桌面和引擎。在 Linux 上,显示器是 X11 配 XFCE,或无头的 Wayland 配 sway。在 Mac 上,引擎挂接到你已登录的显示器。在 Windows 上,它挂接到已登录用户的桌面。引擎捕获屏幕,编码为 H.264,并在同一个端口上提供查看器、串流和输入 API。在慢速链路上它会降低比特率。参见 How streaming works。
会话默认在回环地址上监听,不带 token。用 --public 或在其他地址上启动会创建一个 token,每个远程请求都必须发送它。同一时间只有一个控制者发送输入:取得控制权的查看器、SDK 控制会话或 CLI。查看器以只读方式打开,因此它可以在 CLI 或 SDK 发送输入时观看。在另一个控制者持有输入期间,截图仍然可用。
CLI 提供与其版本匹配的 skills:
screen-relay skills get core # 控制循环、坐标、type 与 key 的区别,以及错误 screen-relay skills get core --full # 加上所有参考:CLI、配置、SDK、macOS、Wayland、故障排查 screen-relay skills list # 专门技能,例如 vercel-sandbox
或者把下面这段加入你的 AGENTS.md:
Use screen-relay to see and control a desktop. Before the first use, run
screen-relay skills get core and follow it.
每条命令加上 --json 都会输出 JSON。错误会带一个 reason,如果有的话还会带上接下来要运行的命令。
运行 screen-relay --help 查看完整列表,或 screen-relay <command> --help 查看单条命令。
标志、环境变量和 config.yaml 的文档见 Configuration。
引擎运行于 Linux(x64 和 ARM64,X11 和 Wayland)、macOS 12.3 或更新版本(Apple silicon 和 Intel),以及 Windows 10 或更新版本(x64)。screen-relay install 会在你的机器上构建它。参见 Linux、macOS 和 Windows。
从源码构建需要 Node.js 22 或更新版本、C++17 编译器、make,以及 screen-relay install 所安装的那些库:
npm ci npm run build # CLI、SDK 和查看器 make # 引擎,用于默认后端 npm test
用 make test 运行引擎测试,它还需要 FFmpeg 开发库。
CONTRIBUTING.md 涵盖源码布局、引擎和测试。AGENTS.md 涵盖写作规则和发布流程。
screen-relay.dev:介绍、指南和参考 CLI reference 和 Configuration Node SDK 和 HTTP API Remote access:token、TLS 和隧道 Docker 和 Vercel Sandbox Changelog License Apache-2.0。引擎链接 x264,后者以 GPL-2.0-or-later 许可,由 screen-relay install 构建时从你的系统链接。参见 THIRD-PARTY-NOTICES.md。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。