返回资讯中心
外部精选
软件工程
#开发者实时流

Altertable 推出 Ask Altertable 代理,可编写并测试数据管道

来源标题:Agents write and test pipelines in sandboxes, scheduled tasks run the code

Altertable 的聊天代理 Ask Altertable 现在能根据一句话需求编写数据管道,在沙箱中测试通过后保存为定时任务,每天自动运行。用户只需提供 API key 并指定数据落地位置,即可获得一个包含管道代码的定时任务。运行失败时代理会说明原因。

Hacker News 最新fvaleye2026/11/16 · 今天19 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

Altertable Agent、架构、工程 从一句话到一条运行中的流水线 用一句话说明业务需求:agent 编写流水线、在真实数据上验证、把代码排进日程,运行失败时还会告诉你原因。博客一条业务需求一句话就能说完,但它背后的流水线不行。

过去,这样的请求会变成一张工单。提出需求的人等,之后每次改动还要再等,而团队最终又多了一条需要维护的流水线。

我们的聊天 agent Ask Altertable 现在可以在一次对话里完成这些工作:你提供一个 API key,并说明数据应该落到哪里。你拿到的是一个 task,也就是一个调度任务,它持有流水线并每天早上运行它。

Agent 写代码的能力越来越强,在流程还在探索阶段时,它们正合适。而定时调度需要的是一个不再变化的流程:每次都是同样的步骤。

Agent 只写一次流水线。之后的每次运行只是执行代码。

写个脚本再挂上定时任务并不新鲜。真正的工作在它周围的一切,我们称之为 harness。脚本首先在 sandbox 中运行,只有当真实的 CRM 公司数据落进你的 lakehouse 之后,我们才会保留它。如果六周后某次运行出了问题,你会收到一条消息,说明哪里坏了、该怎么修。

写入 Sandbox检查,1 项已修复通过 通过 失败 通过 运行中 脚本pipeline.py 每天早上40 次运行 诊断 Sandboxupdated_at 为空 脚本不变 按需修复 修复 Sandbox检查通过 通过 通过 通过 通过 脚本已修复 示例:一个 CRM 任务,从一条聊天消息到六周后的一次修复。

如果你的数据源已经有维护好的 connector,就用它。Agent 编写的流水线针对的是大量没有 connector 的 API,而且即便如此,agent 也是构建在人们已经了解并信任的框架之上。

这就是为什么每条生成的流水线都构建在 dlt 上,这是一个用于加载数据的开源 Python 库。它会推断 schema,在数据源新增列时自适应,并且只加载上次运行以来发生变化的数据,因此脚本只需处理数据源特有的部分。我们的开源 destination dlt-altertable 已预装在 sandbox 中,并把每条流水线的状态保存在你的 lakehouse 里。

这个状态让每日运行保持低成本。没有它,每次运行都会重新加载所有公司。dlt 的增量加载会在这里存一个游标,即它上次加载的 updated_at,这样每次运行都从上次停止的地方继续。

编写脚本的 agent,也就是我们的 pipeline generator,会阅读数据源的文档,然后做四个选择。对于这个 CRM,它们可能长这样:

一个无法运行自己代码的 agent 是在猜,而一个运行代码却不做检查的 agent 则是风险。所以 generator 在 sandbox 中工作,这是一台短时存在的机器,连接真实的数据源和你的真实 lakehouse。它的测试加载会落到一个临时 schema 中,之后会被删除,即使失败也会删除。

聊天 agent 创建 task 时处于暂停状态。它会弄清楚数据源需要哪些凭证(这个 CRM 需要一个 API key,需要更多凭证的数据源则要多个),并用一个安全表单一次性索要,每个凭证对应一个字段:

从你 CRM 设置中获取的 API key 或 access token(开发者、API 或集成页面),需要对公司数据有读权限。 加密存储,绝不会发送给 AI agent。 然后它把任务交给 generator,由后者编写流水线并运行四项检查,任何一项失败就修复脚本:

Generator 也可以拒绝。如果某项检查持续失败,或者文档留下了未定的选择,你就拿不到脚本:它会说明缺什么,task 保持暂停。

Agent 仍然是在给自己的作业打分,而且没有人必须批准结果。假设它误读了 CRM 的文档,选了 name 作为 key,而正确的应该是 id:脚本是错的,让它通过的那项检查也是错的。所以在依赖它之前,先读一读脚本。它就是 task 设置里的普通 Python 代码,你可以编辑。

如果 agent 每天早上都运行,它会在每次运行时花费时间和 token,而且每次可能生成不同的脚本。

当 generator 返回脚本后,聊天 agent 会把它保存到 task,并一步激活调度。从那时起,运行不会重叠,而且每次都有硬性时间限制。

对于这个 CRM,脚本可能就这么短:

import os

import dlt from dlt.sources.helpers import requests from dlt_altertable import altertable

API = "https://api.example-crm.com/v1/companies"

def companies(updated_at=dlt.sources.incremental("updated_at")): headers = {"Authorization": f"Bearer {os.environ['SECRET_CRM_API_KEY']}"} url, params = API, {"updated_since": updated_at.last_value} while url: page = requests.get(url, headers=headers, params=params).json() yield page["results"] url, params = page.get("next"), None

pipeline = dlt.pipeline(pipeline_name="load-crm-companies", destination=altertable) pipeline.run(companies()) 把生成的代码当作不可信代码

读脚本是一种防御。另一种是确保坏脚本造成不了多大伤害。它由模型编写,连接的是你无法控制的数据源,所以它只会在安全的 sandbox 中运行,与其他工作负载以及我们自己的基础设施隔离。

API key 是 sandbox 中最敏感的东西,所以它的值会被排除在所有会产生文本的地方之外:

每次运行都使用 task 自己的 secrets,以及它以谁的身份运行就用谁的 lakehouse 登录,因此它可以写入那个人能写入的任何地方。这就是为什么你需要 catalog 管理权限才能创建 pipeline task。

这条流水线会给你一张新的 raw 表:CRM 公司数据,保持 CRM 本身的形状。在 medallion 分层中,这是 bronze 层,不是直接放到 dashboard 前面的东西。

清洗后的表(silver)和可直接用于报表的表(gold)是 dbt 的工作,那些代码已经在你的 GitHub 或 GitLab 仓库里。把新表声明为 source,添加清洗它的 model,再把项目调度为 dbt task。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →