返回资讯中心
外部精选
软件工程
#开发者实时流

TinySet 用智能体群按自然语言提示从公开网络构建数据集

来源标题:I abused agent swarms to collect all your data (how to make it work)

TinySet 能让用户用一句自然语言描述所需数据集,再由多个智能体从公开网络抓取数据并生成表格。官方称单次运行最多 250 行,示例查询返回了 200 多个美国在建数据中心项目、共 7 列。数据集是快照而非实时更新,且仅采集公开网络内容。

Hacker News 最新gargigupta2026/11/5 · 12 天前18 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

产品 TinySet 如何运作:用一个简单的提示词构建数据集 SDSimantak Dabhade,开发者关系与增长·2026年11月5日·9分钟阅读 好,TinySet 只做一件事:你用大白话描述你想要的数据集,然后一堆 agent 会去实时网络上把它建出来,你全程看着就行。比如输入「美国在建的数据中心,含运营商、位置和规划容量」,它返回了 200 多个项目,共 7 列。 如果你只是想试试,它已经上线了,地址是 agent.tinyfish.ai/playground/datasets。 如果你只是想知道它是干什么的,这里是简版说明: 快速现实核查:每次运行最多 250 行,仅限公开网络,数据集是快照而非实时数据流,而且它只负责收集,不负责判断什么算「最好」。 这就是它现在的样子。它是怎么走到这一步的,那又是另一个故事了哈哈。 先说点背景,因为 TinySet 一开始根本不是个产品。今年五月,我们几个人在公开场合搞了个低调的副业项目,没想到真有人用,还有几家公司开始拿它跑实际工作。所以过去几个月我一直在把它从头重建成一个正式的 TinyFish 产品。 很多东西理论上听着很棒,实践中完全行不通。下面是坏掉的地方,挑一个你最喜欢的灾难吧: 如果你是为了工程细节来的,好戏从这里开始。 第一个版本只有一个 agent,一行一行地研究。20 行的时候很棒。超过之后,它以非常具体的方式崩了:到第 30 个实体时,agent 已经忘了它第 5 个实体找到的东西。返回的行要么值错了,要么字段缺失,而且不是模型笨,是它的上下文被前面每一行的过时研究塞满了。 解决办法是不再让一个 agent 记住所有东西。每一行需要研究的都配一个自己的 agent,只负责一件事,有工具调用预算,对其他行一无所知。这仍然是今天 TinySet 填表的核心机制,也是为什么第 200 行和第 2 行得到同样的用心。 隔离的行 agent 解决了质量问题,但我们仍然卡在 200 行左右,而想要 TinySet 的数据团队需要的远不止这些。这个上限原来是执行框架的问题,不是网络的问题,它出在发现环节:一个 agent 在大需求里试图找出所有实体时,会跟丢已经找到的,然后开始返回重复项。 所以发现环节也被拆开了。一个协调 agent 把大需求拆成互不重叠的块(一个地区拆成城市,一个项目拆成批次或年份,一个市场拆成类别,一个长列表拆成字母区间),每一块配一个自己的 worker,只列名字,从不研究。 「湾区咖啡店」变成圣何塞、桑尼维尔、圣克拉拉、山景城、帕洛阿尔托等等。每个新行在写入前都会跟主键比对,忽略大小写和多余空格,所以同一个数据中心出现在五个列表网站上只会变成一行,而不是五行。 有一段时间,规划器会先上网搜索再给你提议列,这样能展示每一列是在哪里被发现的。理论上很酷。实践中规划要花 2 到 7 分钟,盯着一个 7 分钟什么都不发生的屏幕可不是什么好体验。 所以我大幅削减了。现在规划只是一次模型调用,完全不访问网络,你的列几秒钟就回来了,真正上网的 agent 在构建过程中搞定剩下的。 好,这是我最想做对的部分。agent 会误报来源,而且不是故意的。一个行 agent 在搜索结果摘要里看到一个 URL,就把它当成自己读过的页面引用,或者一个列表 agent 记得训练数据里的某家公司,然后在某个从没提到它的页面上「找到」了它。 你可以在提示词里告诉模型别这么干,它还是会经常这么干,所以提示词不是保证。于是规则写在代码里,其中两条承担了大部分重量: 生产环境中最常见的拒绝原因恰恰就是第二条,一旦告诉 agent 哪里错了,它通常下一轮就改好了。 行 agent 占据一次运行中大部分的模型调用,所以模型选择在这里最重要。我们在已知正确答案的数据集上测试,比如美国国家公园、欧盟成员国、2000 年以来的诺贝尔物理学奖得主、标普 100 和英超俱乐部,每次运行都跟真实名单打分对比。 协调 agent 是另一回事,因为更便宜的协调者会把任务拆成重叠的块,找到重复实体,而且拖了很久才出现第一个名字,所以它继续用更强的模型。 每个 agent 还有备用模型,所以某个提供商的一次糟糕响应不会终结你的运行。 人们一直想要「前 10 健身房」这类东西,而诚实的回答是,执行框架根本不知道「前」是什么意思。随便 10 家健身房不是前 10。 所以我们转向 TinySet 真正擅长的事:给你那些匹配的,配上评分或价格这样的列,让你想怎么排就怎么排。它是个收集工具,我们对此很满意。 这是目前的流程,从头到尾。假设你输入「波特兰卖二手书的独立书店,含网站」。 每个 agent 还会得到一个固定的网络调用和时间预算,这些限制写在代码里,所以没有 agent 能靠嘴皮子要到更多。一次完整运行通常要 5 到 20 分钟,你可以关掉标签页再回来。运行会排队,所以无论是我们部署还是你中途断网都不会杀掉它,流会从断掉的地方接着来。 这是第一个版本,所以这些是真实的边界: 一次运行完成后,你可以用只读链接分享数据集,或导出为 CSV 或 Excel。下一步是让数据集自己保持新鲜,并把它们做大。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →