
业界探讨开放数据平台标准:Iceberg与目录服务如何影响用户选择
来源标题:How Open Is Open? Iceberg, Catalogs, and User Choice
业界呼吁为「开放」建立用户可独立验证的定义,而非由厂商自行宣称。讨论聚焦Apache Iceberg的REST目录协议,该协议将提交逻辑放在统一接口后,目录运营方因此在架构中占据关键位置并形成商业影响力。核心问题是用户能否在不重建平台的前提下更换查询引擎、自营目录或替换供应商。
以下正文由 AI 翻译自 Data Engineering Weekly(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
构建厂商中立的数据平台,长期以来一直是企业的梦想:摆脱厂商锁定、更好地控制成本,并实现更快的分析洞察。这是一个简单而合理的诉求。我们都知道现实并非如此,即便使用了“开放”的表格式也不例外。
最近关于 Apache Iceberg 开放性与互操作性的争论,印证了我认为业界必须正视的一个问题: 用户需要一个可以独立验证的开放性定义,而不必依赖声称开放的厂商自说自话。 对于数据工程负责人而言,开放性关乎架构与财务后果。团队能否更换查询引擎、运行自己的 catalog,或在不重建平台的前提下替换服务商?又会失去哪些能力、性能或控制权?
Apache Iceberg 为这种独立性提供了关键基础。Iceberg 的 REST catalog 协议将提交逻辑置于统一接口之后,并支持委托存储访问的机制。因此,catalog 会影响引擎访问和更新表的方式。其运营者在架构中占据举足轻重的位置。(REST catalog 规范)
这一位置带来了商业影响力。厂商投入集成、安全和性能建设,以增强其平台的吸引力。用户需要理解这些优势何时会形成依赖,从而约束未来的选择。 公开的接口确立了契约;共享的实现和可复现的测试有助于揭示其实际边界。
将引擎连接到 catalog 只能证明互操作性的一部分。生产环境会带来不断增长的元数据、并发写入、凭证续期和高负载工作。Iceberg 支持延迟快照加载和服务端扫描规划等特性。引擎和 catalog 的实现可以以不同方式使用这些能力,从而在数据处理开始之前就影响效率。(REST catalog 协议)
更好的工程应带来更好的性能。用户需要证据来区分这些改进与不完整的集成、不受支持的功能以及专有依赖。否则,每个组织都必须自行探究开放性的边界。 Iceberg 社区应建立明确的运营基线,并推动生态采纳。
Hive Metastore 提供了一个有用的先例。它为引擎开发者提供了具体的集成目标,也为组织提供了可自行运营的服务。这一共同基础帮助开发者复现行为,也让用户能在厂商环境之外排查问题。 社区已有大量工作可资依托。Apache Polaris 实现了 Iceberg 的 REST API,Iceberg 也维护着用于测试 catalog 服务器的 REST Compatibility Kit。下一步应将这些贡献与关于采纳、验证和用户选择的明确预期衔接起来。(Apache Polaris、REST Compatibility Kit) 社区应围绕一个生产就绪的 catalog 凝聚共识:用户可独立部署,引擎可将其作为共同集成目标予以支持。
应欢迎替代实现,同时保持规范的权威性。公开的、带版本号的兼容性结果应标明支持的操作、可选能力、配置和限制。 性能工作负载应补充这些结果。在受控的数据、计算、网络位置和缓存条件下,用户可以比较元数据加载、规划行为和并发提交。这些比较将解释性能差异,帮助团队做出明智决策。 迁移必须得到同等重视。更换 catalog 涉及权限、身份、凭证、catalog 特定状态和活跃写入者。社区应发布经过测试的流程,说明用户可以迁移什么,以及哪些依赖仍然存在。 可靠的基线将强化竞争。厂商可以对照共享预期展示改进。用户可以一并评估收益与依赖。引擎开发者可以基于社区维护和测试的基础进行集成。 公开辩论揭示了一个值得用工程手段回答的问题。Iceberg 社区应将该问题转化为共享代码、公开证据和实用指南。 “开放有多开放?”应归结为用户能运行什么、能改变什么、能带走什么。社区必须为他们提供做出这一选择的证据。 版权所有,Dewpeche Private Limited。我提供的链接仅供信息参考,不代表对其认可。本通讯中表达的所有观点均为我个人观点,不代表任何当前、过去或未来雇主的意见。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。