
Tom De Wolf 推出基于 CNCF 成熟度模型的数据产品平台导航器
来源标题:The Data Product Platform Navigator
Tom De Wolf 发布了一套「平台导航器」,用于指导企业推进 data mesh 落地。该工具基于 CNCF 的 Platform Engineering Maturity Model,帮助组织评估自建数据产品自助平台的现状,并确定下一步行动。它针对的常见问题包括从零搭建平台,以及现有平台采用率低、阻碍 data mesh 扩展。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
《数据产品平台导航指南》
以平台工程成熟度模型指引你的数据网格之旅
许多正在采用数据网格和数据产品的组织都面临一个共同的挑战。他们可能被要求从零开始为数据产品和数据网格构建一个自助式平台,也可能已经有一个现成的平台,但采用率很低,导致数据网格无法扩展。本文基于CNCF的平台工程成熟度模型,提供了一个平台导航指南,帮助你审视当前状况,并确定平台的下一步发展方向。
Tom De Wolf是比利时ACA Group的架构师兼创新负责人,在那里他帮助组织设计和构建自助式数据网格及数据产品开发者平台。他拥有多智能体系统博士学位,专注于智能体、平台工程、数据网格和领域驱动设计的交叉领域。Tom是bitol技术指导委员会的成员,参与Open Data Contract Standard(ODCS)和Open Data Product Standard(ODPS)的制定工作。他由社区驱动,是活跃的国际会议演讲者、Data Mesh Belgium Meetup的创始人,以及Data Mesh Live会议的主持人和项目负责人。
数据网格的核心原则之一是需要一个自助式的数据平台。为了实现去中心化的所有权,领域团队必须能够无障碍、无认知负担地构建、部署和管理自己的数据产品。自助式平台提供了必要的抽象、自动化和工具,使这种自主权成为可能。
一个设计良好的平台应该融入数据网格的关键概念,如数据契约和数据产品。数据契约确保团队之间受控且稳定的数据交接。数据产品是可复用产品化数据的单元,它们可以相互连接,形成网络或“网格”,在其中可以分配去中心化的所有权。
图1:自助式数据平台的高层概览,赋能跨领域数据产品的创建和生命周期管理。
要构建一个完整的数据产品,我们需要各种技术,例如运行数据转换的计算资源、数据存储、数据摄取工具、数据目录、查询引擎、质量工具等等。当我们审视这些技术时,往往会发现一个显著的缺口,因为它们通常缺乏针对数据契约或数据产品等概念的必要抽象。
这种“平台鸿沟”之所以出现,是因为单个数据产品需要多种技术的组合才能作为一个整体运作。因此,没有任何单一底层技术能够覆盖整个数据产品。内置抽象的缺失往往导致人们对数据产品是什么以及它在技术栈中如何体现感到困惑。这种复杂性使得团队难以直接使用现有技术,从而阻碍了数据网格原则的采用。
图2:平台鸿沟,展示了高层数据网格概念与底层数据技术之间的脱节。
解决平台鸿沟的显而易见的方法是构建一个位于现有数据技术之上的平台。这个新层应该提高抽象层次,降低开发者的认知负担,并提供以数据契约和数据产品为中心的用户体验。目标是实现体验的自动化和集成化,创建一个真正的自助式平台。
然而,构建这样一个平台并非没有挑战。平台团队常常难以阐述他们的进展、确定工作的优先级,以及展示投资的价值。这正是结构化方法的用武之地——在成熟度模型的指引下,提供清晰的方向。
图3:平台工程通过在现有数据技术之上创建新的抽象层来弥合平台鸿沟。
平台工程社区通过云原生计算基金会(CNCF)发布了平台工程成熟度模型。该模型提供了一个评估和提升平台能力的框架,使其成为数据网格之旅的优秀导航工具。
CNCF平台工程成熟度模型由若干成熟度级别和一组随平台成熟而演进的方面来定义。
每个级别评估的平台方面包括:
图4:CNCF平台工程成熟度模型,展示了四个级别——临时级、运营级、可扩展级、优化级——以及五个方面(投资、采用、接口、运营、度量)。
图5:使用成熟度模型的三步流程:1. 了解你当前的平台成熟度,2. 聚焦高摩擦方面,3. 迭代。
使用成熟度模型是一个简单直接的过程:
图6:将平台当前状态映射到成熟度模型网格上,并标示出高摩擦方面的计划改进。
在迭代过程中,我们必须记住要平衡成熟度模型的各个不同方面。有些方面,如投资和采用,很大程度上围绕人员、政策和流程;而其他方面,如接口和运营,则更侧重于技术。通过将成熟度模型网格作为我们的指南针,我们可以有意识地引导下一步行动。例如,我们可能会意识到,只有在建立了专门的产品团队并收集了洞察(人员、政策和流程)之后,才应该将投资重点放在自助式解决方案和自动化中心赋能(技术)上,以此来实现投资的平衡。这种平衡防止我们在一个领域过度投资而将其他领域抛在后面,而该模型帮助我们向利益相关者清晰地传达这些战略决策。
一个处于临时级的数据产品和数据网格平台,其特征是对技术和资源供给采取临时性、混乱的方式。为了
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。