
Google Cloud 湖仓实现单份 Iceberg 表同时运行 BigQuery、Spark 和 Trino
来源标题:One Table, Many Engines: Running BigQuery, Spark, and Trino on a Single Iceberg Copy
Google Cloud 的无边界湖仓运行时目录让 BigQuery、Apache Spark 和 Trino 直接读写同一份 Apache Iceberg 表,无需数据副本或同步任务。共享的目录与提交协议保证各引擎对表当前版本达成一致,并处理引擎间的并发写入冲突。
以下正文由 AI 翻译自 KDnuggets(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
一个常见的数据工程架构是这样的:BigQuery 负责分析,Apache Spark 负责数据管道,Trino 则用来应对周五下午突然冒出来的临时查询。每个引擎各自持有一份数据副本,再由同步任务尽力让这些数据保持一致。
尽管已经尽了最大努力,数据仍未必能始终保持一致,而同步之间的延迟迟早会成为问题。设想这样一种场景:BigQuery 显示某个订单状态为“已发货”,而 Spark 的副本却报告为“已付款、等待发货”。在下一次同步任务完成之前,这两边的数据谁都不可信。即便同步最终完成了,你仍然要为执行同步所消耗的计算资源和多份副本的存储付费。而如果同步没有完成呢?你就要为排查和修复管道问题所耗费的工程时间买单。
Google Cloud 的无边界 Lakehouse 与 Apache Iceberg 开放表格式相互配合,有助于解决这个问题。每个引擎都可以读取同一批 Parquet 文件和同一套元数据布局,无需创建各自独立的副本。共享的 catalog 和提交协议确保各引擎对表的当前版本位于何处、以及一次变更如何提交达成一致,避免一个写入者覆盖另一个写入者的改动。
为了验证这一点,我自己搭建了一个项目:一张 orders 表,一个 Cloud Storage 存储桶,在 Lakehouse 运行时 catalog 中注册一次。Apache Spark 负责创建并加载这张表,Trino 向其追加数据,BigQuery 则就地更新和合并行。随后,我故意让 Spark 和 Trino 在同一时刻写入,看看当两个提交发生冲突时 Iceberg 会如何处理。
本文中的每条命令我都在一个全新的 Google Cloud 项目中运行过,并如实报告了返回的输出结果。完整脚本可以在这个代码仓库中找到。
心智模型很简单。这张表的每个数据文件和每个元数据文件都存放在同一个 Cloud Storage 位置。catalog 本身不保存任何数据,它只保存一样至关重要的东西:通过每张表的 metadata.json 文件指向该表当前版本的指针。改变这个指针,就等于改变了这张表。
Spark 和 Trino 通过标准的 Apache Iceberg REST catalog 端点(https://biglake.googleapis.com/iceberg/v1/restcatalog)访问 Lakehouse 运行时 catalog。
BigQuery 不需要任何连接器配置。它通过四段式名称读取同一张表:
project.catalog.namespace.table
在本指南中,四段式名称为:
my-project.one_table_catalog.shop.orders
这被称为 P.C.N.T. 命名约定,即 Project.Catalog.Namespace.Table,与 BigQuery 的数据集语法相对应。
最后一个设计决策是谁可以访问存储桶。该 catalog 支持两种凭证模式:
我选择了凭证分发(credential vending)模式。在三个引擎及其服务账号共同参与的情况下,我更愿意只把存储桶访问权限授予一个身份,其余一切都通过 catalog 角色来管理。
先创建存储桶。之后,创建 catalog 只需一条 gcloud 命令。
export PROJECT_ID="my-project"
export REGION="us-central1"
export BUCKET_NAME="${PROJECT_ID}-one-table-lakehouse"
export CATALOG_ID="one_table_catalog"
gcloud storage buckets create gs://${BUCKET_NAME}
--project=${PROJECT_ID}
--location=${REGION}
--uniform-bucket-level-access
gcloud biglake iceberg catalogs create ${CATALOG_ID}
--project=${PROJECT_ID}
--catalog-type=biglake
--default-location=gs://${BUCKET_NAME}
--credential-mode=vended-credentials
需要留意的参数是 --catalog-type=biglake。它会为你提供一个多存储桶 catalog,其名称不必与某个存储桶匹配,并且以后可以扩展到更多存储路径。
该 catalog 有自己的服务账号。在凭证分发模式下,它是唯一需要访问存储桶的身份:
CATALOG_SA=$(gcloud biglake iceberg catalogs describe ${CATALOG_ID}
--project=${PROJECT_ID}
--format='value(biglake-service-account)')
gcloud storage buckets add-iam-policy-binding gs://${BUCKET_NAME}
--member="serviceAccount:${CATALOG_SA}"
--role="roles/storage.objectUser"
该服务账号是异步创建的,因此如果在创建后立即执行授权,可能会失败。如果遇到这种情况,等 20 秒后再运行一次即可。仓库中的脚本会自动重试。
我项目中 describe 命令的输出返回了 credential-mode: CREDENTIAL_MODE_VENDED_CREDENTIALS 和 catalog-type: CATALOG_TYPE_BIGLAKE。在你的项目中,可以检查这两项来验证。
先启动 Spark,因为我要用它来创建表,而表的写入设置必须从第一次提交起就存在。在一张其他引擎已经写入的表上更改写入模式,正是导致文件布局混杂、偏离你原本计划的根源。
一个集群同时运行两个引擎。Trino 是同一个 Managed Service for Apache Spark 集群上的可选组件:
gcloud dataproc clusters create one-table-cluster
--project=${PROJECT_ID} --region=${REGION} --zone=${REGION}-a
--image-version=2.3-debian12
--optional-components=ICEBERG,TRINO
--enable-component-gateway
--master-machine-type=n2-standard-4 --worker-machine-type=n2-standard-4
--num-workers=2
--properties="dataproc:dataproc.lakehouse.catalog.${CATALOG_ID}=projects/${PROJECT_ID}/catalogs/${CATALOG_ID}"
集群的默认服务账号需要在项目上具备以下角色:
集群对存储桶没有任何要求,因为 catalog 会向它分发令牌。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。