
GoDaddy 用 AI Agent 自动生成数据管道,替代数小时重复配置
来源标题:Data Engineering Weekly #296
GoDaddy 开发了一款 AI Agent,用于自动创建数据管道,把过去需要数小时的重复设置和内部命名规则检查交给模型完成。该 Agent 会主动追问缺失信息、读取源数据并生成管道文件。PostHog 则认为现代数据栈时代已基本结束。
以下正文由 AI 翻译自 Data Engineering Weekly(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
编者按:大声思考
本体论和知识图谱并不是新概念,但随着 AI 的进步,它们已经成为讨论的热点话题。有一派观点会说"我们早就告诉过你了"——好吧,我尊重这一点,但我们也应该承认,在 agent 出现之前,这项技术的业务价值并不十分清晰。如今业务的规模和速度,以及它所处理的数据量,都比十年前高出一个数量级。RDF、OWL2、SHACL 和 R2RML 都很出色,但更大的问题是:这些标准在当今的商业环境中到底有多可用。
PostHog:现代数据栈风光已过
我认为我们可以正式宣告现代数据栈时代的终结,连数据目录都已转向上下文引擎。PostHog 在这里完美描述了现代数据栈的现状。 无论你是否计划过,你可能都正在被捆绑销售; https://x.com/posthog/status/2120953699543687517
GoDaddy:构建用于创建数据管道的 AI Agent
GoDaddy 描述了创建一条数据管道需要数小时的重复设置,以及对照内部命名规则进行检查。它的 AI agent 会询问缺失的细节,读取源数据,并生成管道文件和 pull request。有用的经验是:现有的模板和标准可以为 agent 提供一个实用的起点,用来自动化日常的工程工作。 https://www.godaddy.com/resources/news/building-an-ai-agent-for-data-pipeline-creation
赞助内容:StarTree:2027 年你无法忽视的五大开放表趋势
Apache Iceberg 和 Delta Lake 正越来越多地支持传统批处理分析之外的工作负载。StarTree 探讨了塑造开放表架构的五大趋势,包括运营数据库直接写入表、流式平台简化数据摄取,以及 AI agent 引入新的查询模式。报告探讨了这些变化对设计需要同时支持开放存储和低延迟查询的系统的工程师意味着什么。 https://startree.ai/p/five-open-table-trends-you-cant-ignore/
Uber:Velox 在 Uber:为速度与规模重建 Presto® 执行引擎
Uber 描述了随着其数据平台扩展,运行 Presto 查询的成本如何增长。它把大部分工作迁移到了 Velox——一个以批处理方式处理数据的引擎,同时对照现有系统测试结果并修复兼容性差距。这一经验表明,更快的引擎也需要仔细的测试和运维支持,才能在生产环境中兑现这些收益。 https://www.uber.com/us/en/blog/velox-at-uber/
HuggingFace:Dharma 字段提取器:任意文档输入,结构化字段以 JSON 输出
数据工程管道将越来越专注于从非结构化来源中提取数据。Dharma AI 描述了从文档中提取特定字段、并以其他系统可用的形式呈现这一挑战。它的专用模型读取文档图像,并将请求的值作为结构化数据返回,必要时使用提供的字段列表。这种方法是一个有用的提醒:更小、任务专用的模型或许值得与通用模型一起测试,尤其是在高吞吐量的工作中。 https://huggingface.co/blog/Dharma-AI/dharma-field-extractor
赞助内容:数据工程师的 Apache Airflow® AI 编排指南
面向认真对待生产环境 AI 编排的数据工程师的权威指南。 由 Airflow 专家撰写,基于真实案例,包含代码片段、DAG 模式、示例架构以及配套的 GitHub 仓库。 获取这份 100 多页的技术指南,了解: → 如何用 Airflow 编排任何 AI 模型(任何模型、任何 harness) → LLM、agent 编排和多 agent 工作流的模式 → 如何为 AI 任务添加护栏、结构化输出和人工审核 https://www.astronomer.io/ebooks/ai-orchestration-with-apache-airflow/
Rippling:消除 Flink 中的数据倾斜:处理速度提升 27%,每年节省 100 万美元
Rippling 描述了少数高流量客户如何使其数据管道中的个别 worker 过载,而其他 worker 却处于空闲状态。该团队改变了分配传入记录和分组数据库写入的方式,使工作分布得更均匀。经验是:当真正的瓶颈在于工作如何划分时,仅仅增加容量可能无济于事。 https://www.rippling.com/blog/eliminating-data-skew-in-flink
Pinterest:Pinterest 如何通过循环工程提升分析 agent 的合规性
Pinterest 描述了其分析 agent 有时会跳过重要步骤,例如检查表详情或搜索相关仪表盘。该团队构建了一个测试循环,它会提出变更、检查何时需要这些步骤,并拒绝会破坏其他行为的变更。经验是:改进一个 agent 意味着既要测试它何时应该行动,也要测试它何时应该跳过某个步骤。 https://medium.com/pinterest-engineering/how-pinterest-improved-analytics-agent-compliance-with-loop-engineering-d3c52d0abaa2
Meta:智能投放:让每一单位算力更好地服务广告
Meta 描述了不断增长的广告模型如何争夺有限的计算资源,而每个请求都必须快速得到响应。其 Intelligent Delivery 系统会预测额外的算力在哪里最有帮助,并调整请求的路由和处理方式。更广泛的启示是:让模型更高效,还需要审视资源在整个系统中如何共享。 https://engineering.fb.com/2026/11/11/ml-applications/intelligent-delivery-serve-better-ads/
Anton Zhiyanov:Go 中的概率数据结构
尽管这篇文章讲的是 Go 中概率数据结构的实现,但对任何刚踏入数据工程职业的人来说,这些算法都是必须掌握的。随着数据增长,这些算法将帮助你构建规模化系统。 https://antonz.org/probabilistic-data-structures/
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。