返回资讯中心
外部精选
软件工程
#开发者实时流

微软发布Skill Recorder桌面应用,可录制屏幕操作并转成AI代理可复用的技能

来源标题:Skill Recorder: Desktop app that records your on-screen work session

Skill Recorder能录制用户在屏幕上的点击、窗口切换、访问页面及可选的终端命令和语音讲解,再借助GitHub Copilot CLI把这一次操作还原成明确意图和有序步骤,供AI代理重复执行。该工具录制过程在本地后台完成,并优先调用代理的原生工具而非回放UI点击。

Hacker News 最新taubek2026/11/14 · 今天30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

录一次自己执行任务的过程,把它变成一个 AI agent 可以重复执行的 skill。 想安装 Skill Recorder?前往最新 release。 向下滚动到 Commit-pinned installation,复制适用于你操作系统的完整命令。 命令已经可以直接粘贴:你不需要编辑它,也不需要自己下载源代码。下面是分步说明。 Skill Recorder 会捕获你屏幕上的一次真实工作会话:点击、应用和窗口切换、你访问的页面、其可选录制终端中的命令和输出,以及(如果你愿意)你的口述讲解。然后它使用 GitHub Copilot CLI 把你实际做的事情重建成一个清晰的意图,外加一个有序的步骤列表。此后,一步操作就能把这一次运行变成 agent 可以复用的东西: 两者都优先使用 agent 的原生工具(例如 gh CLI 或 web_fetch),而不是回放 UI 点击,并且会从你的一个示例中泛化,所以录下你自己提交一个表单,就能教会 agent 提交所有表单。 🔴 录制。点击录制(或在任意位置按 ⌘⇧R / Ctrl+Shift+R),然后照常做你的任务。Skill Recorder 会在本地、在后台捕获你的屏幕和活动。 🎛️ 控制。录制期间,一个置顶的小栏会显示捕获、麦克风和录制终端的状态。打开会话范围内的终端,静音、取消静音或切换麦克风,然后用确认来结束或丢弃。 🧠 分析。点击 Analyze,你所选的 AI provider 会重建出一个总体意图和一个有序的步骤列表。审阅并编辑,直到读起来正确。 ✨ 创建。基于已批准的分析,生成可复用的 Skill 和/或定时 Automation。 对于 skills,Review SKILL.md 可以选择在安装或导出前显示完整的、只读的文件文本(包括 frontmatter)。准备预览不会写入任何 skill 文件。关闭再重新打开它,不会重新生成;从任一界面执行 Add/Export 都会使用那个确切的预览。编辑计划会丢弃预览。你仍然可以选择直接 Add/Export,而不审阅或添加确认步骤。Review 提供的是对生成指令的可见性,而不是安全保证。 不想录制屏幕的话,可以使用 Record 旁边较小的文件夹图标,选择一个本地 MP4 或 WebM 文件,例如下载的 Teams 演示。Chromium 会在详细信息界面打开前检查实际的视频和音频。不支持的编解码器、加密或不支持的轨道布局、损坏的媒体,以及超出导入限制的文件,都会被拒绝并给出说明。不需要转换器、独立的 FFmpeg 安装或额外的编解码器下载。 初始限制为 512 MiB、15 分钟和 3840 x 2160 像素(或等效像素数)。音频必须是单声道或立体声,采样率不超过 48 kHz。导入支持一个视频轨道和至多一个音频轨道。可识别的 MP4 轨道类型为 AVC、HEVC、VP9 或 AV1 视频,配合 AAC/Opus 音频;WebM 可识别 VP8、VP9 或 AV1,配合 Opus/Vorbis。可识别的轨道元数据并不保证编解码器受支持:随附的 Chromium 运行时必须实际能够解码它。导入的内存占用高于压缩文件大小。在 Windows ARM64 上做压力检查,输入 512 MiB、15 分钟立体声音频,并常驻现有 Whisper 模型,Electron 各进程峰值约为 4.6 GB(4.25 GiB)。这是一次测量,不是对每个文件或平台的保证,并且不包括其他应用和外部 Copilot CLI 进程。导入解码器有 2 GiB 工作集保护;超过它的录制即使文件大小在限制内也会被拒绝。 验证之后,你可以填写 Additional details,或将字段留空。说明任务、补充可见内容,或指出演示发生的位置。时间戳是指导,不是裁剪:录制的其他部分仍可能被处理。当录制包含音频时,选择录制的口语语言。Analyze 会使用现有 Whisper 模型在本地转录音频(首次使用时的下载会在继续前披露);转录失败会停止导入的分析,以便你重试。无音频的视频和未检测到语音的录制也受支持。 生成的活动列表使用正常的审阅流程:编辑详情、重新排序、添加或删除活动,然后像往常一样创建并审阅你的 skill。导入分析使用帧、语音和你的详情,而不是捕获的操作系统事件;它无法恢复隐藏的剪贴板内容或从未可见或说出的命令。原始文件不会被改动。本地副本和派生产物存储在 Sessions 中,删除会话只会删除该副本。选择文件不会将其发送到云端。选择 Analyze 会通过现有的隐私保护管道,将选定的帧、转录的语音和你的详情发送给你选定的 AI provider。Debug 导出包含导入的媒体和详情,就像它们包含实时录制中的私有数据一样。只导入你有权使用的录制,并让敏感/机密内容远离它们。 实时录制、其权限和设置,以及其事件优先的分析均未改变。导入不需要麦克风或屏幕捕获权限。 对于开发,npm test 包含导入契约/隐私测试。npm run test:import:runtime 使用经审阅的 Electron 运行时,通过 Chromium 生成合成的 MP4/WebM 文件,并演练解码、跳转、静音和缺失音频、不支持的编解码器、取消以及源文件保留。在每个发布目标上运行该检查;它不能替代检查有代表性的 Teams 文件。添加 -- --large 还会导入一个精确 512 MiB 的合成 MP4,并检查对超出限制一个字节的文件的拒绝;该检查需要额外的内存和临时磁盘空间。初始本地测量和运行时检查是在 Windows ARM64 上进行的;其他平台和真实会议录制需要各自验证。 Skill Recorder 以源码发布的形式发布:一条命令即可下载固定版本的 Node.js

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →