说实话：现在到处都是vibecoded的项目，而我又做了一个……不错吧？我在德国做数据平台工程师，日常工作基本上就是在美国的超大规模云厂商上，为中小企业以及一些DAX公司搭建并运行lakehouse平台。 我的意思是，数据工程师喜欢在这些平台上工作，但一段时间以来，我对这件事确实有伦理上的顾虑——比如：

• 厂商锁定
• 成本高昂（因为云成本——而且大多数情况下，即使你自有机房也无法接入）
• 非欧盟厂商……
• 其他开源方案对LDAP收取高额许可费 等等等等。所以我开始在业余时间搭建自己的、有明确取舍的数据湖仓平台（说实话，我也是借此开始学习agentic engineering以及harness之类的东西），只从已有的开源项目中挑选组件。在我看来，这些构建模块相当直接：
• 把你现有的任意S3存储上的Iceberg表
• 用Trino做SQL，用Spark Connect跑作业
• 用Airflow做调度，再加上notebook、Kafka流和仪表盘
• 在所有这些之上提供一个Web UI和一个API
• 周边配套如OIDC、密钥管理等。目前完全是pre-alpha阶段。但我想把它作为内部提案项目用在现雇主这里，以推动agentic engineering，以及为我们非超大规模云厂商客户打造自有数据平台的想法。网站：https://stardelt.io 代码：https://github.com/stardelt很乐意听听你的看法 :) Cheers, Martin 评论URL：https://news.ycombinator.com/item?id=50411800 点数：1

评论数：0