返回资讯中心
外部精选
软件工程
#开发者实时流

Colbin 发布无需代码生成、比 Protobuf 更小更快的序列化格式

来源标题:Colbin: Serialization format faster and smaller than Protobuf. No code-gen

Colbin 是一种紧凑的混合行-列式二进制序列化格式,官方称其比 Protocol Buffers 更小更快,且无需 schema 编译和外部依赖。该格式提供 Go、Rust 和 JavaScript(WebAssembly)实现,三者读写相同字节,并支持可选的 colbin/JSON 自描述模式。在与其对比的两种 Go 实现中,仅 vtprotobuf 在单条记录编码上快 1.2 倍。

Hacker News 最新ivan-ang2026/11/15 · 2 天前30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

一种紧凑的混合行-列式二进制序列化格式,比 Protocol Buffers 更快、更小。无需编译 schema,无依赖。支持 Go、Rust 和 JS。

Go 模块、Rust crate 和 JavaScript(WebAssembly)包读写相同的字节。可选的 自描述模式 colbin/JSON 使得消息可以转换为 JSON,且无需其他任何东西。

混合行-列式。消息以行格式写入,每个字段一个字节的头部。在其中,八个或更多记录的集合按列写入,每个整数列经过变换和位打包。编码时按值做出选择,因此三字段文档和百万行表格是同一种格式。

无预编译步骤。Go struct 就是 schema。没有 .proto 文件,没有 protoc,也没有生成类型;cb 字段标签是可选的。

无依赖。Go 模块的 go.mod 没有 require 块。

比 Protocol Buffers 更小更快,只有一个例外。在测量中,对比其两个 Go 实现:protobuf-go(反射,与 colbin 相同)和 vtprotobuf(代码生成)。两者写入相同的字节。例外:vtprotobuf 编码单个记录快 1.2 倍,因为直线生成的代码在没有列可写时胜过按字段解释的计划。colbin 在 25 个文档中的 5 个中更快。从八个记录开始,集合按列写入,colbin 领先两者。

自描述模式(colbin/JSON)。schema 部分随消息一起传输,因此 ToJSON 无需 Go 类型即可渲染它。该部分按数据集的中位数为 68 到 627 字节:在数千行的表格中不到 0.1%,而在数十字节的文档中则超过消息本身。

data, err := colbin.Marshal(&order) // 一个 struct,无需标签 err = colbin.Unmarshal(data, &back) doc, err := colbin.MarshalSelfDescribing(&order) // colbin/JSON text, err := colbin.ToJSON(nil, doc) // JSON,无需 schema 或类型

问题 设计 用法 测量 限制 实现 使用场景 文档

问题 目标是服务之间、存储和客户端之间的带宽,而不改变生产和消费数据的代码的编写方式。colbin 围绕四个约束设计:

下面的每个决策都因为测量结果优于替代方案而被保留。RATIONALE.md 记录了测量结果,包括被回退的想法。INTERNALS.md 逐位规定了格式。

消息是一个根描述符字节,后跟一个键运行——或者,对于在四个键位且无 schema 或字典的 struct,仅键运行:一系列 [key][descriptor][payload] 字段,由外层长度的结束终止。运行的键宽度按运行选择,并记录在打开它的描述符中:

嵌套 struct 打开自己的运行,因此窄 struct 可以容纳宽 struct,反之亦然。超过 255 个字段的类型被分成 255 的页。每页的键 255 链接到下一页,最多到 id 4 080。(INTERNALS §3–4,§6.5)

字段的 id 来自两个地方之一。

来自标签。cb:"N" 使字段 id 为 N,其线上键为 N−1。所有 id 都在 1–16 范围内的类型使用单字节 K4 字段头。

来自字段名。没有编号的字段取其名称的 fnv8(FNV-1a 折叠为一个字节)。如果该键已被占用,则向上移动到下一个空闲键。字段按声明顺序分配,在所有带标签字段之后。Rust 和 JavaScript 实现使用相同的哈希,因此未标记的 Go struct 可以从两者读取。

type Reading struct { // 无标签:id 来自名称,K8 键 SensorID uint64 Timestamp int64 Value float64

type Reading struct { // 标签:显式 id,K4 键 SensorID uint64 cb:"1" Timestamp int64 cb:"2" Value float64 cb:"3"

未标记类型只要字段保持其名称和相对顺序就保持兼容:

字段的名称来自其 json 标签。schema 中的名称、JSON 视图中的名称,以及未编号字段哈希的名称,是 json 标签的名称(如果有),然后是 cb 标签中的名称,然后是 Go 名称。cb 编号只将字段放置在线上。因此 ID int64 json:"id" cb:"1" 是 id 1,称为 id。json:"-" 不会丢弃字段;cb:"-" 会。

未标记类型的成本,在六字段记录上测量:派生键跨越 0–255,因此类型始终使用 K8。每个存在字段多一个字节:33 B 而不是 27,编码 44 ns 而不是 38。解码时间相同。两种宽度都跳过读取器不知道的字段,因此生产者和消费者可以以任一方式独立添加或删除字段。

因此,标签是大小和窄快速路径的优化,而不是要求。在表格中,键按列写入而非按行,因此键宽度在那里几乎不重要。

零值被省略。持有 0、""、false 或空 slice 或 map 的字段完全不写入。

整数是符号-幅度,字节数在描述符中:

值占 1 到 8 字节,按需多少。在 K4 中,描述符首先是一个字节数:0–3 不携带 payload,4–11 携带 1–8 字节,12–15 是长度。值 1–4(有符号字段为 1–3 和 −1)是描述符本身,因此 bool、状态码或小计数是一个字节,包括键。除 −1 外的负值采用长度形式,多一个字节。K8 增加一个 varint 形式,编码器仅在更短时写入:在 id 0–1000 上每字段 3.34 B 对 3.60。

浮点数按字节反转写入。IEEE-754 值的零字节是低位尾数字节,反转它们可以让字节数丢弃它们:1.0 是 2 字节,持有精确 float32 的 float64 是 5 字节。

最多 8 字节的字符串和 blob 在 K4 中不携带大小:描述符的字节数就是大小。更长的携带 1、3 或 5 字节的长度。解码的字符串是消息的子切片,而不是副本。

没有大小是 varint。每次读取大小都是对头部已给出的宽度的单次加载,因此解码从不运行行程计数为数据的循环。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →