返回资讯中心
外部精选
软件工程
#开发者实时流

Bricksentry 开源:在数据变更上线前预演其对 Databricks 的影响

来源标题:Show HN: Bricksentry – see what a data change does before it ships (Databricks)

Bricksentry 是面向 Databricks 管道和 AI 代理的数据变更安全检查工具,可在变更上线前预览其对数据的影响。它由 Databricks Champion Brahmareddy 开发,以 Apache-2.0 开源,可在本地 DuckDB 上用 2 万行示例数据 30 秒内试用,无需 Databricks 账号。

Hacker News 最新kbreddy122026/11/13 · 5 天前30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

AI 时代的数据变更安全检查。 面向 Databricks 管道以及编辑这些管道的 AI agent 的变更安全:在变更上线之前,先搞清楚它会对你数据做什么。 30 秒上手体验 · 在 Databricks 上检查每一次变更 · 文档:bricksentry.org · LinkedIn 由 Databricks Champion Brahmareddy 构建。基于 Apache-2.0 开源。 名字的由来?Bricks 加 entry。你的表和管道是 lakehouse 的砖块(bricks),对它们的每一次变更就是一条记录(entry)。bricksentry 检查每一条记录,报告它的影响,并在它落地之前把守关口。

  1. 30 秒在你的笔记本上试一下 uvx --from "bricksentry[duckdb]" bricksentry demo (或者 pip install "bricksentry[duckdb]",然后运行 bricksentry demo。)不需要 Databricks 账号,也不会有任何数据离开你的机器:它运行在本地 DuckDB 中一张 2 万行的收入表上。一个 AI agent 在克隆(生产环境不受影响)上预览一次 DELETE,因为一个 join 重复了 40 个订单,它的 pull request 被阻止,agent 修复后,又被路由给下游一张认证表的负责人。随后一个夜间管道还是提交了一次有问题的 MERGE:bricksentry 在表历史里发现了它,跳过其后的 OPTIMIZE,因 25 个重复键而阻止它,打印出 RESTORE 并执行。 databricks bundle init https://github.com/bricksentry/bricksentry --template-dir templates/job-check cd bricksentry_check && databricks bundle deploy databricks bundle run bricksentry_demo # 可选:约 2 分钟后在演示表上看到一次阻止 一条命令加几个提示,就能得到一个 serverless job,在你选定的表每次提交后运行:和 demo 最后一步相同的检查,作用在你的数据上,附带能撤销坏变更的 RESTORE 和可选的 Slack 告警。可选的演示 job 会在你的 scratch schema 中向一张演示表写入一次已知有问题的 MERGE 并检查它,所以你的首次运行会以一次阻止亮红灯结束。详情见下文。 把检查放进你的管道 job 里,紧跟在写表的任务之后:一次阻止会让该任务失败,下游任务不再运行。或者用 GitHub Action 在 pull request 上运行它,并通过 MCP server 把同样的检查交给 AI agent。 你上一次管道运行做了什么?(10 分钟,只读) check-my-table notebook:在你的 workspace 中,转到 Workspace → Import → URL,粘贴 https://raw.githubusercontent.com/bricksentry/bricksentry/main/examples/databricks/bricksentry_check_my_table.py 把 check-my-table notebook 指向你的管道所写入的一张 Delta 表。它会找到该表历史中的最近一次数据变更(WRITE、MERGE、UPDATE 或 DELETE),与之前的版本比较,并展示评审者在这次变更上线前本会看到的结论:新增、删除和修改的行,重复键,发生变动的汇总值,有哪些东西依赖这张表,以及用于撤销的 RESTORE 命令。你的表只会被读取;比较使用 scratch schema 中的两个 shallow clone,结束后即删除。 如果它给你展示了什么,请分享一下它发现了什么(不需要表名)。真实的结果决定接下来要构建什么。 databricks bundle init https://github.com/bricksentry/bricksentry --template-dir templates/job-check cd bricksentry_check && databricks bundle deploy -t prod 回答几个提示(要监控的表、没有主键时的键列、SQL warehouse、scratch schema、是否加入演示 job、策略、可选的 Slack webhook secret)。你会得到一个带表更新触发器的 serverless job:每当被监控的表发生变化,它就会检查这次变更,发送告警,并记录用于撤销的 RESTORE。要在变更有问题时停止下游任务,把同样的检查作为一个任务加进你的管道 job 里,紧跟在写入之后(生成的 README 中有 YAML 示例):使用 --since {{job.start_time.iso_datetime}} 它会检查本次运行所写入的所有内容,而阻止结论会让该任务失败,这样其后的任务就不会运行。 在命令行上,同样的检查只需一条命令: bricksentry check-last-change main.sales.orders # 最近一次数据变更对比之前的版本 bricksentry check-last-change main.sales.orders --version 42 # 指定版本 bricksentry check-last-change main.sales.orders --since 2026-11-11T09:00:00Z --fail-on needs_human 键来自 bricksentry.yml、--key 或表的 PRIMARY KEY 约束。OPTIMIZE 和 VACUUM 提交会被跳过,因为它们不改变数据。 HR walkthrough notebook:Workspace → Import → URL → https://raw.githubusercontent.com/bricksentry/bricksentry/main/examples/databricks/bricksentry_hr_walkthrough.py HR walkthrough 会构建一张 20 万行的员工表(标记为 pii),为一份认证的薪酬汇总提供数据,然后展示 bricksentry 在它上面做的所有事情:表和列的爆炸半径,两个 pull request(一个有风险,一个已损坏),每条规则,一个 agent 的写入在克隆上预览且危险 SQL 被拒绝,PR 报告,列级策略,无法掩盖重复项的采样,来自配置的血缘,告警以及 MCP 工具。结束时它会删除自己创建的所有内容。首次在真实 workspace 上运行于 2026 年 11 月,由 Databricks 中的 AI agent Genie 完成。 Databricks quickstart notebook:在你的 workspace 中,转到 Workspace → Import → URL,粘贴 https://raw.githubusercontent.com/bricksentry/bricksentry/main/examples/databricks/bricksentry_quickstart.py quickstart notebook 会在你选择的 schema 中创建一张小型演示表,并在 Databricks 上运行同样的循环:Unity Catalog 爆炸半径,一个真实的 RESTORE 回滚方案,在 shallow clone 上的预览,一个被阻止的 pull request 及其修复。然后它只读地检查你自己的一张表,并自行清理。 你需要一个 SQL warehouse、对所选 schema 的 CREATE TABLE 权限,以及对 system.access.table_lineage 的 SELECT 权限(用于爆炸半径)。Jupyter 版本在 bricksentry_quickstart.ipynb。 在变更进入生产之前,bricksentry 回答三个问题,面向人类以 pull-request 评论的形式,面向 agent 以结构化 JSON 的形式: pip install "bricksentry[databricks,mcp]" bricksentry init # 写入 bricksentry.yml 和 policy.yml 它为什么存在

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →