返回资讯中心
外部精选
大数据
#数据平台#湖仓

PostHog 放弃 DuckLake,改用 Trino 重建数据仓库产品

来源标题:Data Engineering Weekly #295

PostHog 宣布撤回对 DuckLake 的采用,转而基于 Trino 重建其数据仓库产品。PostHog 表示,虽然 95% 的分析流程只涉及少部分数据,但数据建模才是更大的难题。Uber 同期也在分享核心数据工程实践。

Data Engineering WeeklyAnanth Packkildurai2026/11/9 · 9 天前18 分钟阅读

以下正文由 AI 翻译自 Data Engineering Weekly(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

编者按:大声思考

分析工程是最早采用 AI 的工程学科之一。多年来,人们一直梦想着无需任何专业知识就能向机器询问业务指标。如今 AI 越来越智能,分析工程师的未来会是什么样?从历史上看,分析工程师一直试图在组织中解决两项职能。

  • 充当“拍拍肩膀”的人,即席回答任何业务问题。从某种意义上说,这是现代 AI Agent 的拙劣版本。
  • 构建标准指标,以提高可复用性并让各团队的业务职能保持一致。 企业如何用 AI Agent 增强这两项职能?

PostHog:我们为什么要重新重建仓库产品

PostHog 撰文讲述了回退 DuckLake 采用方案并转向基于 Trino 的解决方案的过程。确实,95% 的分析流水线只涉及整体数据的一小部分,但建模数据才是更大的问题。DuckLake 是我一直没搞懂的东西,我们不是用 Hive Metastore 试过这个吗?DuckDB 当然是一项有趣的技术,前提是我们把它用在更高效的场景中。 https://x.com/posthog/status/2117351603514793997

Uber:让每个核心都发挥作用:Uber 追求更快的 Apache Spark 作业

Apache Spark 早就该被颠覆了。事实上,将(-EMR + Onehouse Quantum)组合起来,很容易就能带来 50% 的成本效率提升。如果未来几年出现一波向基于 Glutten + Velox 的执行引擎迁移的浪潮,我不会感到意外。 https://www.uber.com/us/en/blog/uber-benchmarking-quanton/

赞助内容:在 Apache Iceberg 上对 Trino、ClickHouse 和 StarTree 进行基准测试

StarTree 比较了 Trino、ClickHouse 和 Apache Pinot 查询存储在 S3 中同一份 122 亿行 Parquet 数据时的表现。该基准测试考察了过滤聚合、缓存行为和并发性,展示了索引驱动的访问方式如何减少扫描的数据量。有趣之处在于,瓶颈会随工作负载的不同而在 CPU、存储读取和查询协调之间转移。 https://startree.ai/resources/iceberg-query-benchmark-vs-trino-vs-clickhouse/

JetBrains:JetBrains 如何借助 DuckDB 在 DataGrip 中构建跨数据库查询

既然我们在讨论 DuckDB,JetBrains 讲述了 DataGrip 用户希望在一个查询中跨不同数据库连接进行数据 join 的需求。它嵌入了 DuckDB,并通过自定义表函数将其接入 DataGrip 现有的查询执行流程。正如我所说,合适的工具做合适的事。 https://duckdb.org/2026/11/05/jetbrains-datagrip

Meta:F3 Lightning:Meta 如何大规模加速广告 ML 特征投产

Meta 撰文讲述了单个有问题的特征如何延误其广告机器学习模型的更新。其 F3 Lightning 系统可以独立发布特征,同时仍然合并它们共享的计算。这一设计展示了团队如何在不牺牲共享基础设施效率的前提下加快速度。 https://engineering.fb.com/2026/11/03/ml-applications/f3-lightning-how-meta-accelerates-ads-ml-features-to-production/

赞助内容:数据工程到底发生了什么?

如果你感觉每天都有关于数据工程的新头条,那你没感觉错。 11 月 18 日,来参加 Tamara 和 Volker 的轻松对谈,聊聊数据工程师这一角色正在经历什么(以及为什么并不全是坏事)。 你将了解到:

Mercury:我们的 chatbot 改变了 Mercury 使用数据的方式

Mercury 讲述了不断增长的积压需求如何让其数据团队难以回答员工的问题。其 Slack bot 使用共享定义来回答问题,而团队则利用这些问题发现并修复底层数据中的缺口。教训是:AI 数据工具的价值,取决于让它给出的答案值得信任的持续工作。 https://x.com/mercury/status/2118058938315010531

Klaviyo:Klaviyo 如何通过放手来扩展分析能力

Klaviyo 分享了一个与 Mercury 类似的故事,我在“大声思考”中也对此做了反思。Klaviyo 讲述了其小型数据团队如何难以支撑一家不断壮大的公司内部的分析请求。它构建了一个 AI 工具,利用共享业务定义、可信数据和对其所运行查询的校验来回答问题。结论是:让更多人访问数据,也意味着要给他们一种一致的方式来评判答案。 https://klaviyo.tech/how-klaviyo-scaled-analytics-by-getting-out-of-the-way-01836b9164f3

Ka Ling Wu:关于语义层与 Text-to-SQL 准确率,研究究竟说了什么

一篇对 AI 生成 SQL 相关研究的综述发现,准确率声明往往模糊了书面业务上下文与强制统一指标定义的工具之间的区别。研究普遍表明,解释业务规则有助于模型回答问题,但大多数研究使用小规模测试,且未对不同方法进行比较。有用的结论是:记录数据的含义,同时对头条式的准确率数字保持谨慎。 https://medium.com/@kalingwu/text-to-sql-accuracy-semantic-layer-research-f39f62b952ba

Meta:我们如何构建 DEmate:驯服 LLM 以服务 Meta 的数据工程

Meta 讲述了通用 AI 编程工具如何难以应对其定制的数据基础设施和测试流程。其 DEmate 助手使用针对具体任务的指令、内部示例和自动化检查来引导代码变更并监控测试。这一方法展示了团队的本地知识如何让 AI 助手在日常工程工作中更有用。 https://medium.com/@AnalyticsAtMeta/how-we-built-demate-taming-llms-for-data-engineering-at-meta-d134e69637c5

David G. Smith:冰山、地图,以及空间数据湖能带我们走向何方

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →