Data Engineering Weekly 第294期讨论了软件设计从工作流向意图驱动转变给工程师带来的新问题，涉及基础设施、身份管理、可观测性及安全隔离等方面。本期还引用了InfoQ的2026年AI、ML与数据工程趋势报告，关注AI智能体从实验走向生产后团队所需的能力。

以下正文由 AI 翻译自 Data Engineering Weekly（原文版权归原站所有），可能存在偏差，重要内容请以原文为准。

本期 Data Engineering Weekly 由 Astronomer 赞助。

编者按：大声思考

leetdata.ai 上有人问起，这个平台对于那些想进入数据工程领域的人有多大用处。我一直在反复思考这件事：老派的编程方式正在慢慢消退。系统设计正从基于工作流转向基于意图。训练营和标准的编程练习帮不上忙。我一直在想，未来的学习过程会是什么样。欢迎在评论区告诉我，你对新数据工程师的学习过程有什么看法。

Katelyn Lesse：工程师需要解决的新一批问题

正如我在编者按中提到的，软件设计正在从根本上从工作流方式转向基于意图的方式。这种范式转变带来了哪些新挑战？作者指出了基础设施、身份管理、可观测性，以及安全与隔离。你如何看待数据工程面临的新时代挑战？ https://www.dataengineeringweekly.com/publish/post/223119658

InfoQ：InfoQ AI、ML 与数据工程趋势报告 - 2026

InfoQ 的 2026 趋势报告探讨了当 AI agent 从实验走向生产时，团队需要什么。其编辑按采用程度对技术进行了梳理，重点介绍了 agent 评估和运行模型的工具，以及更为成熟的数据契约和开放表格式。报告指出，人们越来越关注让 AI 系统在实践中可靠运行所需的基础设施、上下文和测试。 https://www.infoq.com/articles/ai-ml-data-engineering-trends-2026/

活动提醒：NEXT QUERY 2026 | 下周三，11 月 4 日 | 免费线上峰会

下周三，来自 Apple、NVIDIA、Coinbase、Intuit、AppLovin、Microsoft AI、AWS 和 Cisco 的工程师将分享他们如今如何保持系统运行，同时为未来做准备。议程上的部分内容：

来自 Coinbase 和 AppLovin 的生产经验，以及 Intuit Mailchimp 如何重建其实时客户数据平台。
AWS 谈在 EKS 上运行 StarRocks，Apple 的托管分析服务，以及 Carbon Arc 将 1 PB 数据从 Trino 迁移到 StarRocks。
NVIDIA 谈为什么 GPU 执行如今对大规模查询已切实可行，以及哪些工作负载受益最大。 20 多场演讲。一个免费的线上日，可能为你省下数月的试错。由 PhoenixAI（StarRocks 的最初创造者）主办。无法实时参加？照样注册，我们会随后把录像发给你。 https://nextquery.phoenixdata.ai

LinkedIn：为自主 agent 构建数据平台

LinkedIn 解释了为什么当日志、业务上下文和权限分散在各个系统中时，agent 无法可靠地操作数据管道。作者提出将管道运行与其日志和元数据关联起来，记录数据为何重要，并限制 agent 能做什么。这些基础可以帮助 agent 调查问题并验证修复，同时让工程师更清晰地了解其影响。 https://www.linkedin.com/pulse/building-data-platform-autonomous-agents-vikram-k-gundeti-obd8c/

Teradata：我们为什么选择 Loom 来驱动 Tera

Teradata 解释了为什么 Tera 需要一个能够处理多用户、长时间运行任务并访问企业数据的 agent 框架。该公司用 Go 构建了 Loom，保存 agent 状态以便重启后恢复工作，并增加了对工具访问、开销和审批的控制。拥有该框架也让团队能够随着协议和产品需求的变化对其进行调整。 https://medium.com/teradata/why-we-chose-loom-to-power-tera-2378a1dc8dc4

赞助内容：用 Apache Airflow® 构建事件驱动工作流

你是否曾经为了规避不可预见的延迟而故意把 DAG 安排得比需要的更早，或者试图猜测 sensor 超时需要设多长才能等到你的数据？事件驱动调度消除了这类猜测。一条消息被投递到队列，你的 DAG 就会运行。 11 月 4 日加入 Marc Lamberti，了解如何大规模构建和运行事件驱动的 DAG。 https://www.astronomer.io/events/webinars/build-event-driven-workflows-with-apache-airflow-video/

Zepto：优化 SQL 数仓成本：在 Apache Superset 中构建数据集物化

Zepto 描述了 Superset 仪表盘如何为每个图表反复运行同样昂贵的 SQL，从而推高数仓成本。团队增加了一种方式，可以预先计算共享数据集并按需刷新，这样图表就能复用结果。Zepto 报告称，在不改变分析师使用仪表盘方式的情况下，整体数仓成本下降了 30–35%。 https://blog.zepto.com/optimizing-sql-warehouse-costs-building-dataset-materialization-in-apache-superset-2f5fa34682af

Razorpay：Razorpay 如何将 2,500 个 DAG 逐个迁移到 Airflow 3

Razorpay 描述了它如何将 2,500 多条数据管道迁移到 Airflow 3，而没有一次性全部切换。团队让新旧版本并行运行，逐个迁移管道，并使用兼容的辅助库来简化工作。事故表明，运行中的任务依赖 API server，这促使 Razorpay 将任务流量与用户界面分离。 https://engineering.razorpay.com/how-razorpay-moved-2-500-dags-to-airflow-3-one-dag-at-a-time-71419355a07b

Meta：PrivacyLib：数据访问边界处的隐私控制

Meta 描述了在其各数据系统中分别执行隐私规则如何拖慢变更并使其难以维护。PrivacyLib 将共享检查放在数据访问点，使用可复用的模块来监控或阻止操作。同样的方法帮助 Meta 跟踪内部 AI agent 的数据访问，并在受支持的路径上阻止违反隐私规则的操作。 https://engineering.fb.com/2026/10/27/security/privacylib/

Medium：我们如何看待 LLM 时代的文本分类

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）

正文由探How 从来源站点 RSS 同步，内容未经改写；遇到排版缺失或需要图片、视频时请以原文为准。

Data Engineering Weekly 第294期：探讨AI时代数据工程新挑战