
Turso发布基于Rust重写SQLite的同步方案Turso Sync
来源标题:Turso Sync: Local-First SQLite with Push and Pull
Turso推出Turso Sync,为SQLite提供推拉式同步,实现无网络下即时响应、联网后自动上云的本地优先体验。该方案基于用Rust完整重写的开源Turso Database,是继libSQL嵌入式副本之后的第二次同步尝试。文章说明了旧方案在WAL物理页复制上的局限,并讨论了冲突模型的适用范围。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
本地优先(local-first)应用在没信号的地铁上应该是什么体验:你添加一个任务、编辑一条笔记、勾掉一项待办,每次点击都即时响应。没有加载转圈,也没有“你已离线”的横幅。二十分钟后你走上地面,手机连上网络,改动同步到云端。你的笔记本电脑下次打开应用时把这些改动拉取下来。什么都没丢。
如果你试过在 SQLite 上做这件事,大概知道最后很少真能做到这种体验。我们也知道,因为当初 fork SQLite 做同步的第一版尝试(libSQL 里的 Embedded Replicas)就撞上了你很可能也遇到过的问题。Turso Sync 是我们的第二次尝试,构建在 Turso Database 之上——我们用 Rust 对 SQLite 做的完整开源重写。这篇文章讲第一版为什么行不通、新版怎么工作、我们的基准测试显示了什么又没显示什么、冲突模型适合和不适合哪些数据,以及如果你现在正在用 Embedded Replicas 该怎么办。
SQLite 有预写日志(WAL),很容易想当然地把它当成复制流。问题在于里面装的是什么:WAL 记录的是物理页,也就是 SQLite 存储数据的固定大小块。这意味着它不会记录“你往 tasks 表插入了一行”,只记录“第 412 页现在变成这样了”。
复制页会带来几方面的麻烦。改一行仍然要传一整页,小写入在网络上的开销因此很高。由于你只能看到结果字节,无法判断逻辑上改了什么,重放或合并改动几乎不可能。而且一旦 checkpoint 把 WAL 页折回主数据库文件,让两端按相同顺序应用页就变得很脆弱。当本地副本和远端副本出现偏差,唯一的修法是丢掉本地副本、重新下载全部数据。
Embedded Replicas 把这些坑全踩了。正如 Glauber Costa 在 his sync benchmark 文章里所说:“SQLite 里没有好的办法得到逻辑变更流。所以我们把复制协议建立在物理页上。”实际后果是写入默认发往远端数据库,本地只服务读取。你可以关掉这个行为,但同步出错的频率随之升高。一个写操作需要网络的本地数据库,算不上多本地。
Embedded Replicas 无法从外部解决这个问题。libSQL 是 SQLite 的 fork,因此继承了 SQLite 的存储引擎,而那个引擎只暴露页。要得到逻辑变更流,就得改引擎本身。这也是我们启动 Turso Database 的主要原因之一——一个用 Rust 写的 SQLite 开源重写,保持与 SQLite 文件格式和 SQL 方言兼容。把同步做对是首要目标。
对同步最关键的部分内建在引擎里:Turso Database 通过变更数据捕获(Change Data Capture,CDC)跟踪每一次行级变更。push 时,客户端发送的是描述改了什么逻辑语句,而不是这些改动碰过的页。插入一行在网络上的开销大约就是这一行的大小。而且因为变更是逻辑的,服务器可以把它们拼接起来:对两张不同表的两笔无关写入,不会仅仅因为产生了不同的物理页就冲突。
在运行 Turso Database 引擎的 Turso Cloud 数据库上,同步数据库还可以使用并发写入(MVCC)。
有了逻辑变更流,同步就不必是一个不透明的调用。Turso Sync 把它拆成两个。push() 把本地改动发到远端。pull() 拉取远端改动并在本地应用,返回一个布尔值告诉你是否有变化。你还可以设置长轮询超时,让服务器把 pull 挂起直到有新内容,这样不用在循环里狂打服务器就能接近实时更新。
在 TypeScript 里建立一个同步数据库是这样的:
import { connect } from "@tursodatabase/sync";
const db = await connect({
path: "./my-app.db",
url: process.env.TURSO_DATABASE_URL!, // turso://... from turso db show <db> --url
authToken: process.env.TURSO_AUTH_TOKEN!,
longPollTimeoutMs: 10_000, // optional: server waits for changes before replying to pull
});
// Reads and writes always hit the local file
await db.exec("INSERT INTO tasks (title, done) VALUES ('Buy milk', 0)");
// Send local changes when you're ready
await db.push();
// Pick up changes made on other devices
const changed = await db.pull();
写入落到本地文件并留在那里,直到你调用 push()。如果设备离线,它们会安全地待在磁盘上,等恢复在线。只消费云端数据的应用可以只 pull、从不 push。会话呈突发式的应用可以在会话结束时 push 一次,而不是每次写入后都 push。同步边界在哪里由你决定,而根据我们的经验,这个决定在很大程度上决定了本地优先应用是否感觉快。对于长时间运行的应用,checkpoint() 会压缩本地 WAL,让磁盘占用保持有界,stats() 报告同步活动,比如发送和接收的字节数以及最近一次 push 和 pull 的时间。
开发时,Turso Database CLI(tursodb)自带一个本地同步服务器,这样不用云账号就能测试整个闭环: tursodb --sync-server 0.0.0.0:8080 #Starting without the whole database Turso Database 从底层到上层都是异步的,这让部分同步成为可能。部分同步本身仍标记为实验性,但思路很简单:客户端打开数据库后,在下载完整文件之前就开始回答查询。当查询碰到一个本地还没有的页时,客户端按需拉取。写入仍然先应用到本地,再以逻辑语句 push,所以部分同步使用同样的 push 和 pull 调用。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。