开发者推出无头浏览器方案,让AI代理不再抢占用户鼠标和屏幕
来源标题:Agent should not take the cursor
针对现有计算机操作代理运行时必须占用鼠标和键盘、用户无法同时使用电脑的问题,作者改用无头浏览器方案,让代理拥有独立的 Chrome 实例、配置文件和光标。在一次 36 分钟的运行中,代理对比了 9 家酒店并写入 29 个日历事件,用户全程正常使用电脑,过程有完整视频记录。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
无头浏览器自动化:它撞上的墙,以及我们为了不被卡住而不得不造的东西 · 2026 年 11 月
我试过的每一个 computer-use agent 都是同一个样子:它移动你的鼠标,点击你的窗口,往当前获得焦点的任何地方打字。看它工作就是演示。演示很棒。 然后你试着用它做一件需要半小时的事,你就会发现真正的代价。它运行的时候你没法用你的电脑。不是“有点烦”——你是真的没法打字,因为你的按键会落进 agent 刚刚切到前台的窗口里。所以你只能在你离开机器的时候才运行它。而一个只能在你不在工作时运行的助手,不算助手。它是一个界面更漂亮的批处理任务。 所以我们做了显而易见的事:改用无头方式驱动浏览器。agent 有自己的 Chrome,有自己的 profile 和自己的光标,它永远不碰你的。在一次 36 分钟的运 行中,它比较了九家酒店并写入了 29 个日历事件,而我一直在正常工作。整个过程都有视频,未经剪辑,部分原因是我能想到的、唯一能证明屏幕从未被占用的办法。 那部分第一次就成功了。之后的一切才是有意思的那一半。 你一旦不再假装自己是坐在键盘前的人类,很大一部分网络就不再让你进去。不是因为你做错了什么聪明的事——而是因为无头 Chrome 有指纹,很多网站就是直接拒绝它。 这是本周的一次测量,尝试往 Reddit 发帖: 四天前,同样的代码还能用。我们这边什么都没变。这就是这个问题的质感:它不是修一次就好的 bug,它是天气。 而且你没法用工程手段绕开它,因为对“这个网站不想要自动化访问”的正确回应是停下来,而不是把自己伪装得更好。我们很早就决定不碰验证码破解。一旦走上那条路,你造的就是另一个产品,而且你是在和你所依赖的那些网站的人对着干。 如果你不打算打败这堵墙,你就必须注意到它,并把它交给一个人。这听起来微不足道。其实不是,而我们失败的方式值得写下来。 我们的墙检测器有四种情况:屏幕上有验证码、有可见的密码字段、有一次
性验证码字段,以及什么都没有。它正常工作了几个月。 然后 Google 弹出了一个 passkey 提示。passkey 屏幕没有密码字段——这正是 passkey 的全部意义。所以它落穿了每一个分支,落到了“什么都没有”。检测器报告没有发现墙。agent 相信前方没有任何障碍,于是什么也没做,并报告了一种成功形状的沉默。 没有错误。没有日志行。没有异常可捕获。这次运行只是悄悄变得毫无意义,而那条本应把墙交给人类的代码路径从未打开,因为在系统看来根本不存在墙。 我想精确说明这类 bug 为什么难缠。不是检测器对某件事判断错了。而是某个分支的缺失看起来和一次成功的检查一模一样。下游的一切在给定输入下都正确运行。这个失败没有表面。 修复它意味着添加第五种情况,并决定它排在顺序中的哪个位置。那个顺序现在是文件里最重要的一行。 密码在 passkey 之前检查。如果存在可见的密码字段,agent 可以从凭据存储中填入它并继续——不需要人类。只有当没有密码路径时,才真的需要有人把手指放在传感器上。先检查 passkey,你就会为一堵机器本可以自己清除的墙去打断一个人。我们打断人的次数已经足够少,所以每次打断都必须是真的。 只有可见元素才算数。隐藏的密码输入框到处都是;很多普通主页都会带一个,以便浏览器的自动填充正常工作。把它们算进去,互联网上的每个页面看起来都像登录墙。 而一旦你的检测器误报了几次,你就不再信任它——到那时它比没有还糟,因为你现在有了一种虚假的覆盖感。 同样的逻辑说明,一次性验证码的墙需要同时有短语和字段,因为“验证”这个词出现在有史以来写过的每一个帮助页面上。而 passkey 检测不会匹配那个裸词:博客文章里的“什么是 passkey?”不是一堵墙。 一个通过返回“什么都没有”来失败的检测器,没法通过检查它不崩溃来测试。所以我们的测试方式改了两件事。 第一,检测器是一段在页面内运行的 JavaScript 字符串,很长一段时间里这意味着它只能通过启动真实浏览器来执行——这正是为什么没人注意到缺失的分支。我们把它从模块里抽了出来,这样测试可以拿它对着一个假 document 运行。生产环境里跑的东西和测试中的东西现在是同一个字符串。 这立刻抓到了第二个 bug,而且很好笑。检测器住在一个模板字面量里,所以正则里的 / 在插值过程中被吃掉了,模式悄无声息地变得无效。在文件里它看起来没问题。求值时,它抛错了。 第二,也是更普遍有用的:每个测试都通过破坏它所测试的东西来验证。 一个在你破坏了它的测试对象之后仍然通过的测试,比没有测试还糟,因为它报告了你并不拥有的覆盖。其中一个测试的第一版在整个 passkey 分支被删掉后依然愉快地通过——它是在从文件里读一个字符串,而不是求值它。这和最初那个 bug 是同一类,也是用同样的方式发现的。 我宁愿自己说出来,也不愿让别人发现: 检测器是开源的,MIT,大约一百行,无依赖:github.com/sujipar/wallcheck import { checkWall, canAutomate } from 'wallcheck'; // runs inside the page const { kind, why } = checkWall(); if (kind && !canAutomate(kind)) { // why === "Needs a fingerprint, Face ID or a security key." await askAHuman(why);
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。