
DuckDB 或将支持超过 38 位的 DECIMAL 精度
来源标题:DuckDB might soon support more than 38 digits
DuckDB 收到一项 Pull Request,拟支持超过 38 位的 DECIMAL 宽度,以 BIGNUM blob 形式存储。该 PR 由 h4nsmuller 提交,包含 173 个提交,目前处于开放状态,尚未合并。它基于此前 BIGNUM 运算及 decimal 宽度改用 uint32_t 的改动。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
Support DECIMAL widths beyond 38 digits, stored as BIGNUM blobs - #26955 #26955 Open h4nsmuller 希望将 173 个提交合并到 duckdb:main,来自 h4nsmuller:wide-decimal(h4nsmuller/duckdb:wide-decimal) 复制源分支名称到剪贴板 对话 提交 173 (173) 检查 文件变更 Open Support DECIMAL widths beyond 38 digits, stored as BIGNUM blobs#26955 h4nsmuller 希望将 173 个提交合并到 duckdb:main,来自 h4nsmuller:wide-decimal(h4nsmuller/duckdb:wide-decimal) 复制源分支名称到剪贴板 对话 h4nsmuller 评论于 2026 年 10 月 12 日 • 已编辑 正在加载 糟糕! 加载时出错。请重新加载此页面。 复制链接 复制 Markdown 贡献者 基于 #26932(BIGNUM 的 、//、%)、#28263(将 decimal 的 width 和 scale 改为 uint32_t,并附带 glue 和 iceberg 扩展补丁)、#28270(TableIndexList::Bind 在绑定抛出异常时重置绑定状态)、#28275(连接条件验证统计在较早条件之后可能不会声称 NOT NULL)、#28276(超出宽度的 decimal 舍入保留 NULL)和 #28258(ICU 时区加载器中 zstd 分配失败被报告为内存不足)构建,以上均已合并。 本 PR 取消了 DECIMAL 宽度 38 位的限制。width > 38 的 DECIMAL(width, scale) 将其未缩放值存储为 BIGNUM blob(PhysicalType::VARCHAR,C++ 类型 bignum_t),而最多 38 位的 decimal 仍保留其固定大小的整数存储及当前所有行为。width 是 uint32_t;会话绑定的宽度上限由 max_decimal_width 设置决定(默认 1,000,000 位),该设置限制了单个值可占用的时间和内存。 SELECT 123456789012345678901234567890123456789012345.678 * 2.5 AS r, typeof(r); -- 308641972530864197253086419725308641972530864.1950 DECIMAL(50,4) CREATE TABLE t(d DECIMAL(60,2)); INSERT INTO t VALUES (999912345678901234567890123456789012345678901234567890.99), (-1.5); SELECT sum(d), min(d), typeof(sum(d)) FROM t; -- 999912345678901234567890123456789012345678901234567889.49 -1.50 DECIMAL(80,2) SELECT typeof(repeat('9', 300)::DECIMAL(300,0) * repeat('9', 300)::DECIMAL(300,0)); -- DECIMAL(600,0) -- BigQuery 的 BIGDECIMAL(77,38) 列现在可以精确读取,而不是作为 DOUBLE 读取 SELECT * FROM 'data/parquet-testing/bigdecimal.parquet'; -- 578960446186580977117854925043439539266.34992332820282019728792003956564819967 ... 设计 这是第五个 decimal 层级,而不是一条并行的代码路径。在 decimal 代码根据物理类型(INT16、INT32、INT64、INT128)进行分支的所有地方,宽表示都是第五种情况(PhysicalType::VARCHAR 搭配 bignum_t):Value::DECIMAL(bignum_t, width, scale) 与 int64_t/hugeint_t 重载并列,bignum_t 的 TryCastToDecimal/TryCastFromDecimal 特化由 decimal_cast.cpp 中现有的 switch 分发,算术运算符的 bignum_t 重载,round/ceil/floor/trunc 的 bignum 回调,窗口 FILL 的 bignum 层级,以及基于 BignumIntermediate 的 kernel 作为这些特化的实现体。src/common/types/bignum_decimal.{hpp,cpp} 中的辅助函数(十的幂、带舍入的重新缩放、解析、格式化、double 和二进制补码转换)扮演着 Hugeint:: 在 128 位层级中所扮演的角色。 宽度由设置限定,而不是由表示限定。Decimal::IsValidWidthScale 只要求宽度至少为 1 且 scale 在宽度范围内,DECIMAL(width, scale) 类型构造函数接受 UINTEGER 修饰符,所有原本表示“最宽的固定大小 decimal”的现有用法都改为 Decimal::MAX_WIDTH_INT128(38),由 Decimal::IsWide(width) 区分不同层级。宽值的开销随其声明的宽度而定,因此会话设置 max_decimal_width(默认为 Decimal::DEFAULT_MAX_WIDTH,即 1,000,000 位;小于 38 的值按 38 处理)限定了会话构造的每个 DECIMAL:超出该设置的类型修饰符、转换目标、算术、sum 或 round 结果或公共类型都会抛出错误并指明该设置(Decimal::MaxWidth、Decimal::CheckedWidth),超出该设置的字面量也会抛出同样的错误(它永远不会绑定到其他类型,因此已存储的视图在设置降低时会失败,而不是改变其结果)。该设置限定的是查询构造的类型,而不是查询已经拥有的类型:在更大上限下写入的列仍可在其自身宽度内读取、比较、组合(COALESCE、CASE、UNION、join)和聚合(Decimal::CheckedWidth 既根据最宽输入也根据该设置检查结果),只有比所有输入都宽的结果会被拒绝。SET max_decimal_width = 38 可恢复固定大小层级的结果类型规则。bignum 层级的十的幂通过对 BIGNUM 进行二进制幂运算计算得出(前 512 个被缓存且无锁读取,更大的存放在上限为 16 MB 的缓存中),BIGNUM 量值在超过 48 个 limb 时使用 Karatsuba 乘法,decimal 字符串通过分治法解析和打印,FitsWidth 通过位长度判断,因此只有在值大约达到该宽度时才会构建幂。乘法、除法、重新缩放、解析和打印通过 BignumArithmeticState 大约每毫秒检查一次中断(ClientContext::InterruptCheck);宽层级的转换在 WideDecimalCastState 中携带上下文,因此 Ctrl-C 和 max_execution_time 可以停止长时间的转换。DecimalTypeInfo 像以前一样将 width 和 scale 序列化为 LEB128 varint,因此存储格式不变。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。