brainfish-ai 发布开源本地网页抓取工具 Webcrawl，无需 API key

给 AI agent 整个网络。免费、本地运行、无需 API key。 从 Claude Code、Cursor、Codex 或你的终端中，搜索、抓取、映射、爬取并监控任意网站、SPA、PDF、YouTube 视频、GitHub 仓库、ArXiv 论文、产品页或 CVE。 上面每一帧都是真实输出，由 node scripts/record-demo.mjs 录制。无需 API key，无需账号。 npx skills add brainfish-ai/webcrawl-anything 这条命令会将全部八个 Webcrawl Agent Skills 安装到 Claude Code、Cursor、Codex、Gemini、Windsurf 或任何读取 SKILL.md 的 agent 中。只想要其中一个？按名称选择： npx skills add brainfish-ai/webcrawl-anything --skill webcrawl-deal-watch 如果还要注册 @webcrawl/mcp 服务器，让 agent 能直接调用 crawl、search 和 monitor 工具： npx webcrawl setup 重启 agent，然后粘贴以下任一提示： CVE-2024-3094 是否存在于我依赖的任何东西里？查一下，给我 CVSS 评分、CISA KEV 状态和修复版本，然后检查我的 package-lock.json 并附上证据链接。 映射 https://docs.stripe.com/webhooks，将其下每个页面爬取为 Markdown，然后给我写一份一页纸的速查表，每节下方标注来源 URL。 每小时监控 https://news.ycombinator.com，当有关于 MCP 的帖子进入首页时提醒我。把你创建的监控展示给我看。 更多可复现的提示词，每条都附带其运行的命令：docs/demos.md。 没有 agent？直接使用 CLI：npx webcrawl search "react 19 compiler"。 目标 返回内容 要求 网站与 JS SPA（web） 干净的 Markdown、语义化标题、表格、代码块、链接、OpenGraph/JSON-LD，以及 SHA-256 内容哈希 零 key 本地模式（impit TLS 模拟 + 本地 Chrome），或 webcrawl.app 云端隐身浏览器 PDF 与 Office 文档（pdf-office） 带页码的 Markdown、表格、幻灯片备注，以及扫描版 PDF 页面的自动 OCR（pagesOcr + 如实报告的 pagesSkipped） 内置 PDF 检查器，外加 pdf-parse、mammoth、officeparser 和 tesseract.js YouTube 与媒体（youtube-media） 带时间戳的转录 Markdown、视频标题/频道/时长元数据，以及语音音频转录 内置零 key YouTube 多客户端字幕提取器；可选音频转录 provider 处理原始 MP3/MP4 购物与产品（shopping） 多零售商价格比较、货币归一化报价、库存状态、评分、评论数和运费 零 key 本地 HTML/JSON-LD 产品提取器（-c shopping）；可选 SERPER_API_KEY 航班与酒店（travel） 结构化航班路线（出发地、目的地、航空公司、经停、价格）和酒店每晚价格、星级、住客评分 零 key 本地搜索 + schema.org 提取器（-c flights / -c hotels） 房地产与本地商家（real-estate） 房源列表（卧室、浴室、车位、郊区、门户）以及本地商家营业时间、电话、地址和评价 零 key 本地提取器（-c real-estate --sub buy|rent|sold / -c business） 安全与 CVE（cve） 权威 CVE 与 GHSA 记录，含 CVSS v3.1/v4.0 评分、CWE、受影响/修复的软件包版本，以及 CISA KEV 标记 内置实时 NVD 2.0 + OSV.dev + CISA KEV 富化（-c security --sub cve） GitHub 仓库、Issue 与 Release（github） 结构化仓库元数据（star、fork、许可证、主题、语言）、README Markdown，或 issue/PR/release 讨论串 内置零 key HTML 与 GitHub 提取器（npx webcrawl scrape https://github.com/owner/repo） ArXiv 与学术论文（arxiv） 论文标题、作者、摘要、主分类、提交日期、直接 PDF 链接，以及完整解析的论文 Markdown 内置 ArXiv 摘要与 PDF 检查器（npx webcrawl scrape https://arxiv.org/abs/...） llms.txt 与 Sitemap（llms-txt） 结构化文档清单、章节层级，以及可爬取的文档 URL 内置（npx webcrawl scrape https://docs.example.com/llms.txt 或 npx webcrawl map） 随时运行 npx webcrawl targets，即可从终端查看所有已注册的目标。 一条命令即可注册 @webcrawl/mcp 服务器，并为 Claude Code、Cursor 和 Codex 安装 webcrawl-anything Agent Skill（SKILL.md）： npx webcrawl setup 或指定特定的编码 agent： npx webcrawl setup --agent claude --agent cursor --agent codex --agent gemini --agent windsurf 检查本地引擎、隐身浏览器和解析器是否就绪： npx webcrawl doctor Agent Skills（任意编码 agent） 将 webcrawl 的 skills 安装到 Claude Code、Cursor、Codex 或任何支持 Agent Skills 规范的 agent： npx skills add brainfish-ai/webcrawl-anything 或安装单个 skill，例如黑五降价监控器： npx skills add brainfish-ai/webcrawl-anything --skill webcrawl-deal-watch 技能 作用 webcrawl-ticket-watch 监控 StubHub/Ticketmaster/SeatGeek 活动页面的降价与余票——门票达到你的目标价时立即推送到手机。 webcrawl-jobs-leads 职位市场情报：爬取公司招聘页和 Greenhouse/Lever 看板，归一化职位发布，每日追踪新列表，按匹配度排序。 webcrawl-deal-watch 针对你个人关注清单的黑五/降价监控器——商品达到目标价时推送到手机（免费 ntfy.sh 推送）。 webcrawl-crawl 任意 URL → 干净 Markdown：抓取、爬取、映射、提取、分类搜索。核心技能。 webcrawl-protected-sites 读取对自动化客户端发起挑战的网站（DataDome/Cloudflare/AWS-WAF）：TLS 模拟 → 代理 → 真实浏览器阶梯，零配置即可开始。 webcrawl-learn-topic 对任意主题深度研究：搜索 → 爬取权威来源 → 带引用的摘要和阅读清单。 webcrawl-research-corpus 从文档站点构建 RAG 就绪的 Markdown 语料库：llms.txt、sitemap、路径限定、哈希去重。 webcrawl-real-estate 使用内置提取器搜索和监控房源——新上架和降价提醒。 每个 skill 的详细说明和触发短语见 docs/skills.md。 Webcrawl Anything 开箱即可本地运行，零 API key，使用内置的 impit TLS 模拟抓取器、文档/媒体解析器、BM25 + 语义排序器，以及垂直提取器：

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）