
OLYNK.AI 发布 Piston v0.1:可拒绝回答的时序因果小模型
来源标题:Piston – small causal model for time series that can refuse
OLYNK.AI 发布 Piston v0.1,这是一个针对时间序列的小型因果模型,能在数据不足以回答问题时拒绝作答。模型接收最多 9 个变量、128 步以上的时序数据与 what-if 问题,输出效应估计及 90% 区间、问题可回答概率 p_answerable 和治疗到达目标的概率,且无需按数据集拟合。其在 998 个合成世界、4592 个问题上做了冻结基准测试。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
Like 0 关注 OLYNK.AI LLP 1 表格回归 PyTorch 因果推断 时间序列 不确定性 选择性预测 上下文学习 许可证:apache-2.0 模型卡 文件 文件与版本 xet 社区 1 复制到存储桶 Piston v0.1 结果 未提供因果图 已知因果图 快速开始 本仓库内容 局限性 关于基线的说明 引用 Piston v0.1 一个小型时间序列因果模型,知道什么时候一个问题无法回答。 给它一张随时间变化的测量表(最多 9 个变量,128+ 步),再给它一个反事实问题: 在某一步 t,将处理变量设为 x1 而不是 x0。目标变量在 k 步之后变化多少(k = 1, 2, 3)? 它返回效应值及 90% 区间、数据是否能够回答该问题的概率(p_answerable),以及处理变量在该滞后阶数上到达目标变量的概率。它以上下文方式读取数据:无需针对每个数据集进行拟合。 结果 冻结基准(已包含):来自 23 个训练中从未见过的世界家族的 998 个合成世界中的 4,592 个问题。精确的真实效应(共同随机数模拟)以及每个问题是否可从数据中回答的精确标签(32% 不可回答)。95% 区间通过重采样整个世界获得(2,000 次 bootstrap 重采样)。 T1 是风险–覆盖率曲线下的面积:答案按置信度从高到低排序,风险 = 错误比例;越低越好。如果真实效应落在 90% 区间之外、真实效应的符号判断错误,或者问题本不可回答而方法却给出了答案,则该答案算作错误。高置信错误 = 给出的答案中错误的比例。每种方法的区间都按同一规则加宽,该规则在留出训练数据上拟合(从不使用基准),直到覆盖率达到 90%;Piston 无需加宽。 未提供因果图 方法 T1 ↓ T1 95% 高置信错误 ↓ 答案数 90% 区间覆盖率 基于全部历史的 OLS(加宽 ×1.37) 0.412 0.387–0.439 42.4% 100% 88% 双机器学习,随机森林(加宽 ×1.53) 0.404 0.378–0.430 41.3% 100% 89% TimesFM 3,Google(已加宽,见注释) 0.399 0.375–0.424 42.6% 100% 91% Chronos-2,Amazon 2025(已加宽,见注释) 0.402 0.377–0.425 44.6% 100% 90% CCPFN,Layer6 2026(加宽 ×6.99,见注释) 0.387 0.363–0.412 40.0% 100% 90% Piston v0.1 0.280 0.258–0.304 35.0% 90% 94% T1 比最强基线低 27.6%(差距的 95% 区间:22.6–32.2%)。 已知因果图 当完整图已知时,精确识别算法可以判定哪些问题可回答。此时 Piston 的最佳用途是作为该算法背后的估计器。 T1 比最强基线低 37.0%(差距 29.4–44.1%)。在此设置中使用哪些 Piston 区间(无图 / 部分图 / 完整图输入)是在留出训练数据上选择的:最终选用了无图区间。 以部分图(每对变量以 0.2–0.8 的概率被揭示)作为输入时:T1 为 0.213(0.194–0.234),在 70% 的答案率下高置信错误为 25.8%。此设置尚无经典基线。 快速开始 pip install torch numpy huggingface_hub huggingface-cli download 7ViksSai/piston-v0.1 --local-dir piston-v0.1 && cd piston-v0.1 import numpy as np from piston import Piston pst = Piston.from_pretrained(".") # the downloaded folder panel = np.loadtxt("my_data.csv", delimiter=",") # (steps, variables), oldest row first out = pst.predict(panel, treatment=0, target=2, lag=1, x0=10.0, x1=12.0) if out["p_answerable"] < 0.5: print("Cannot be answered from this data") else: print(f"effect {out['effect']:.3f}, 90% range [{out['lo90']:.3f}, {out['hi90']:.3f}]") 可选的图知识,变量 × 变量:edges[i, j] 0 未知,1 “i 导致 j”,2 “i 不导致 j”;hidden[i, j] 0 未知,1 “存在隐藏的共同原因同时驱动两者”,2 “不存在隐藏的共同原因”。 复现表格:python evaluate_benchmark.py --weights weights --bench benchmark --boot 2000。要为自己的方法评分,请为每个基准问题写出 (q05, q50, q95, p_answerable),然后调用 piston.metrics.report。 本仓库内容 路径 内容 weights/seed0.pt, seed1.pt, seed2.pt 三个集成成员 piston/ 模型、推理 API、基准加载器、指标 benchmark/split_C.npz 冻结基准:面板、问题、真实效应、可回答性标签、真实图 benchmark/baseline_predictions.npz 表格背后的基线预测(已加宽区间):OLS、DML、CCPFN、Chronos-2、TimesFM 3 evaluate_benchmark.py 复现排行榜 训练环境和训练数据不属于 v0.1 的一部分。 局限性 仅限合成世界。基准中的世界家族是未见过的,但它们与训练世界来自同一个生成器。相对于 CCPFN 而言这是一种主场优势,后者从未见过该生成器。尚无真实数据评估。 无法迁移到接触物理。在模拟机器人推动(单侧接触、反馈控制)上,我们尝试过的所有模型(包括本模型)都没能超过预测为零的方法。 其拒绝机制无法检测不熟悉的数据。p_answerable 表示问题在其训练世界那样的世界中是否可回答;它不会标记出与训练世界毫无相似之处的数据。 图已知时,应使用精确识别来做拒绝。学习到的拒绝机制较弱(见表格)。 适用范围:最多 9 个变量、效应最多提前 3 步、对单个变量在单步上进行干预、每个面板一个实体、平稳序列。 无图时高置信错误仍为 35%。我们自己的目标是最佳基线错误率的一半;v0.1 未能达到。 关于基线的说明 所有方法使用相同输入:最后 256 步;协变量 = 每个变量在滞后 1–7 阶的值,加上同一步中除处理变量和目标变量之外的其他变量。 CCPFN:效应 = 预测结果在 x1 处的行均值减去在 x0 处的行均值。其 90% 区间是我们的构造(对上下文做 8 次块 bootstrap 重采样),而非 CCPFN 自身的不确定性输出;在加宽之前其覆盖率为 42%。CCPFN 的点估计具有竞争力(归一化误差中位数为 0.042,而单个 Piston 种子为 0.048)。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。