
AI原生工作流中数据管道的自动化编排
来源标题:Composing data pipelines in an AI-native workflow
一种AI原生工作流工具能自动完成数据管道变更的完整流程:推送分支、创建含配置文件和模型的PR、通过tracker MCP在DATA-412上发布摘要评论并移至In Review状态。该工具还支持先做影响分析,从fct_mrr遍历DAG下游消费者报告影响范围,再借助dbt v2与dbt State仅重建变更部分以加快重跑。当凭据过期或源schema变更导致同步失败时,团队无需手动重复每个设置步骤即可更新管道并排查故障。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
Harness 推送分支,用配置文件和模型打开 PR,通过 tracker MCP 在 DATA-412 上发布摘要评论,并将其移至 In Review。提交工单的人可以在自己提交的地方看到进展。
管道需求会变化,当凭证过期或源 schema 变更时,同步可能会失败。团队需要一种方式来更新管道并调查故障,而不必手动重复每个设置步骤。能够更快地迭代和从故障中恢复,意味着能够管理更大的平台复杂性。
触发一:需求变化。一条评论出现在 DATA-412 上。 你:财务希望 MRR 按行项目级别统计,而不是发票级别。引入 invoice_line_item,重做模型,并在做任何更改之前查看下游会有什么影响。 Harness 处理这两部分。在数据移动方面: 在转换方面,影响分析优先。Harness 从 fct_mrr 遍历 DAG 到每个下游消费者,并报告影响范围:哪些模型、哪些暴露、哪些测试。然后它进行重构,并且由于 dbt v2 配合 dbt State 只重建变更的部分,重新运行很快: 触发二:管道发出警报。两天后,Stripe 同步在一夜之间失败。警报通过 ops MCP 到达 harness,而不是等待有人注意到仪表板。 Harness 读取状态块,找到失败原因,并提出修复方案:在轮换凭证后重新运行设置测试,在上游变更后重新加载 schema,或重新同步历史记录看起来有问题的单个表。它将发现的内容发布在工单上,以便记录集中在一处。你批准后,它运行命令,下一次同步就干净了。 在这个循环中经常出现的几个单行命令: 每一个都会生成 harness 可以读取的 JSON 和一个你可以提交的文件。审查变更就是审查一个 diff,而不是重放某人的点击。 两个安装和一个环境变量: 然后选择你的 harness。如果你使用 dbt,在项目目录中运行 dbt-wizard。如果你想要一个 agent 覆盖整个技术栈,请在那里打开 Claude Code、Codex 或 Gemini CLI。连接你的 tracker 的 MCP 服务器,如果有的话,再连接你的可观测性栈的 MCP 服务器。每个供应商都记录了一行式的设置方法。 然后给 harness 一个跨越数据移动和转换之间界限的工单。第一次它自己运行 fivetran beta connection-schema get,而不需要你从浏览器粘贴任何内容时,这个循环的形态就会豁然开朗。 资源管理命令处于 beta 阶段,我们正在根据人们(和 harness)实际使用它们的方式积极调整。如果某个工作流程感觉别扭,或者你期望的命令不存在,请告诉我们。完整命令参考在 Fivetran CLI 文档中,发布说明跟踪新内容。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。