
Folate:轻量本地DOM选择器模型,体积仅为7B VLM的六十分之一
来源标题:Show HN: Folate – Local DOM selector model that beats 7B VLMs at 1/60th the size
Folate 是一个面向浏览器自动化的轻量级神经 DOM 元素排序模型,体量约为同类 7B 视觉语言模型的六十分之一。它基于 google/electra-base-discriminator 微调并量化为 INT8 ONNX 格式(约 107MB),推理时仅依赖 onnxruntime 和 tokenizers,无需 PyTorch 或 transformers。该模型在 CPU 上运行,可与无头浏览器共存于内存低于 2GB 的环境,并保证返回的选择器均存在于真实页面中。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
PyPI • Hugging Face • Demo • Apache 2.0 一个轻量级、CPU 高效的神经网络 DOM 元素排序器,专为内存受限(与无头浏览器同时运行总占用 <2 GB)环境下的浏览器自动化场景打造。 基于 osunlp/Mind2Web 从 google/electra-base-discriminator 微调,并动态量化为 INT8 ONNX(约 107 MB);Folate 完全通过 onnxruntime 和 tokenizers 运行——推理阶段无需 PyTorch 或 transformers。 Folate 以判别式交叉编码器的方式工作,在 CPU 上通过单次批量前向传播对(自然语言查询,序列化 DOM 元素)对进行打分。 零幻觉选择器定位——对通过 lxml XPath 提取的真实可交互 DOM 节点(<a>、<button>、<input>、<select>、<textarea>、ARIA 交互角色,以及 onclick/tabindex 元素)进行排序,确保返回的每个 CSS/XPath 选择器都真实存在于当前页面上。 紧凑的结构化序列化——将每个元素序列化为简洁的 96 token 表示: [TAG] ... [ID/NAME/TYPE/ROLE/ARIA-LABEL/PLACEHOLDER/TITLE/ALT/HREF/DATA-TESTID] ... [TEXT] ... [PARENT] ... 边缘与低内存部署——设计目标是在无 GPU 加速的资源受限笔记本和容器中与 Chromium 同时运行。 快速开始 安装 pip install folate 或从源码安装: git clone https://github.com/figranium/folate cd folate python3 -m venv .venv source .venv/bin/activate python -m pip install -r requirements.txt 如需运行基于 Playwright 的实时浏览器示例: python -m pip install -r examples/requirements.txt python -m playwright install chromium 用法 FolateSelectorFinder 首次运行时会自动下载并缓存 figranium/folate(若本地存在 ./folate-int8 则直接加载): from folate import FolateSelectorFinder finder = FolateSelectorFinder() matches = finder.rank("click Search Flights button", html_source, top_k=3) for match in matches: print(f"{match['score']:.4f} | {match['selector']} | {match['element']}") 如需从自定义本地目录加载权重: finder = FolateSelectorFinder(model_dir="./folate-int8") 以编程方式下载模型 若希望通过 huggingface_hub 预先获取量化模型权重: hf download figranium/folate --local-dir ./folate-int8 仓库结构 folate/ ├── folate/ │ ├── init.py │ └── ranker.py # 轻量级 CPU 推理引擎与 DOM 序列化器 ├── scripts/ │ ├── prepare_data.py # 流式 Mind2Web 序列化器(lxml) │ ├── train.py # 微调脚本(bf16/fp16/CPU) │ ├── export_onnx.py # FP32 ONNX 导出 + INT8 动态量化 │ ├── eval_mind2web.py # 官方 Mind2Web 评估器(Precision/Recall/F1、Top-1/3/5 及 MRR) │ └── eval_precision.py # Playwright DOM 解析选择器 Precision 与 Recall 基准测试 ├── examples/ │ ├── test_google.py # 在 google.com 上通过 Playwright 实时定位搜索框 │ ├── test_amazon.py # 在 amazon.com 上进行电商元素排序(+ 离线快照) │ ├── test_github.py # 在 github.com 上进行仓库导航定位 │ └── requirements.txt # 实时浏览器测试的可选 Playwright 依赖 ├── requirements.txt # 轻量级 CPU 运行时依赖 ├── requirements-train.txt # 训练与 ONNX 导出依赖 └── LICENSE 评估与基准 Folate 在 Mind2Web 的三个标准泛化划分(test_task、test_website 和 test_domain)上进行评估,覆盖真实网页上的 6,037 个操作步骤。 划分 描述 步骤数 平均候选数 Top-1 Top-3 Top-5 MRR 平均延迟(2 vCPU) test_task 已见网站上的未见任务 1,256 50.0 93.31% 97.61% 98.33% 0.9566 2,309.9 ms/step test_website 完全未见的网站 955 50.0 88.90% 95.92% 96.65% 0.9274 4,328.2 ms/step test_domain 未见的领域与垂直行业 3,826 49.8 92.08% 97.28% 98.61% 0.9491 2,431.0 ms/step 方法与设置 任务形式:每一步中,模型接收自然语言任务指令、操作历史上下文,以及从页面快照中提取的最多 50 个候选 DOM 元素(平均候选数 ≈ 50.0),并为每个候选输出一个相关性 logit。 指标: Top-1 / Top-3 / Top-5:在排序前 k 的元素中出现真实目标节点(pos_candidates)的步骤占比。 Precision / Recall / F1:在不同置信概率阈值(--confidence-threshold、--thresholds)下的选择性 Top-1 精确率(TP / (TP + FP))与召回率(TP / Total),以及候选级别的二分类精确率/召回率。 MRR(平均倒数排名):所有评估步骤中排名最高的真实元素的倒数排名平均值。 硬件与运行时:延迟为 2 vCPU、无 GPU 加速条件下每步端到端测量,使用导出的 INT8 量化 ONNX 产物(onnxruntime)。test_website(4,328.2 ms/step)与 test_domain(2,431.0 ms/step)之间的差异,反映的是未见网站模板上更长的 token 化 DOM 属性序列,而非候选数量。 与 GPT-6 Luna 的对比 作为参照,快速、高性价比的前沿 LLM GPT-6 Luna(通过 OpenAI 的 Decisions API)在 Mind2Web Multimodal 上得分 81.8%(Google Gemini Decision 1 评估,2026 年 11 月),在 Decision Index Vision 套件中的 Mind2Web 上得分 81.2%(Nace.AI,2026 年 11 月),云端 API 中位延迟约 326 ms,每 1,000 次决策约 $0.10(或标准 API 用法下每 1M 输入/输出 token $0.10 / $0.50)。 注:Folate 是在基于文本的 Mind2Web DOM 候选(每步 50 个候选)上评估的,而 GPT-6 Luna 的 81.2%–81.8% 分数是基于多模态/截图式的 Mind2Web 动作选择。虽然 GPT-6 Luna 是具备广泛推理与多步规划能力的通用前沿模型,但 Folate 的任务专用 ELECTRA 交叉编码器在本地 CPU 上实现了更高的单步 DOM 元素定位精度,且零 API 成本、零网络依赖、零选择器幻觉。 从仓库根目录运行任意内置实时浏览器示例: python examples/test_google.py python examples/test_amazon.py --offline python examples/test_github.py 训练与量化流水线
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。