返回资讯中心
外部精选
软件工程
#开发者实时流

新书教你用Rust从零构建语音识别器,全程不依赖任何第三方库

来源标题:Building a Speech Recognizer from Scratch in Rust with No Dependencies

一本名为《Building a Speech Recognizer from Scratch》的书,指导读者用Rust从零编写语音识别程序,最终实现可转录文件或麦克风语音的命令行工具。全书坚持一切自写,Cargo.toml的依赖项始终为空,傅里叶变换、矩阵乘法、反向传播等均自行实现并测试。读者只需会读Rust并具备16岁数学水平,无需信号处理或机器学习基础。

Hacker News 最新flyingsky2026/11/22 · 今天16 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

欢迎来到《从零开始构建语音识别器》。这是一本书,带你一步步构建一个程序:它听人说话,然后把说过的话写下来。我们从一堆数字组成的文件开始——那恰好是一段某人说“seven”的录音——最后做出一个命令行工具,能从文件或你的麦克风转写语音。

有一条规则,贯穿全书始终:一切都由我们自己写。不用 PyTorch,不用 TensorFlow,不用信号处理 crate,不用线性代数 crate;在我们亲手构建并训练出一个小而可用的识别器之前,也不用任何预训练模型。我们的 Cargo.toml 里 [dependencies] 一节在第一页是空的,到最后一页仍然是空的。如果我们需要傅里叶变换、矩阵乘法、随机数生成器、反向传播或者 JSON 解析器,我们就自己写,并且自己测。

你不需要懂任何信号处理,也不需要懂任何机器学习。你只需要能顺畅地读 Rust,再加上十六岁时学过的数学。其余的一切都从零开始,一块一块搭起来,而且每一块都是你能跑起来的东西。

第 4 章的一张图:用一幅画概括全书的前三分之一。到那时,图里每一个方框都已经被我们写出来了。

四样东西,每一层都站在前一层之上。

我们尽量在数字上保持诚实。我们自己的识别器在它自己的测试集上大约每十个词错一个,而且它只认识 35 个词。书里如实写了这一点,展示了它在哪些地方出错,也解释了它与 Whisper 之间的差距在哪:大量的数据和算力,加上少数几个想法(注意力,以及一个读取自己输出的解码器)——最后几章会运行它们,但不训练。

按顺序来。每一章都以前面的章节为前提。

各章按你实际写代码的顺序,一个函数一个函数地展示代码,全书的完整代码在 code/ 里。我建议你自己敲一遍,而不是复制粘贴。每一章结尾都有几道动手练习;学习主要就发生在那里。

有些概念动手玩比读文字更容易理解,所以有几章链接到一个小型交互页面。它们是 interactive/ 里的纯 HTML 文件;在浏览器中打开 interactive/index.html 就能看到全部:采样与混叠、加窗、作为旋转相关运算的傅里叶变换、mel 滤波器组、DTW 网格、CTC 格和束搜索。

你需要 Rust 1.88 或更新版本(用 rustup 安装)。本书绝大部分内容不需要其他东西。第 11 章要用 ffmpeg 读取麦克风。

git clone <this repository> cd <this repository>/code cargo test --release cargo run --release --example ch01_wav -- ../samples/seven.wav

每一章只要有可运行的内容,就有一个以章名命名的示例(ch01_wav、ch03_fft、ch05_digits、ch09_train 等等)。samples/ 里附带了几段短录音,我们训练好的模型放在 models/ 里,所以你也可以在还没读一个字之前就试试成品识别器:

cargo run --release --bin speech -- transcribe ../samples/utt_yes_right.wav cargo run --release --bin speech -- listen --from-file ../samples/utterances_with_pauses.wav

数据集

这些示例足够你跟完第一部分。从第 5 章开始,我们需要真实数据,而它太大,放不进 git。所有东西都放在 code/ 旁边的 data/ 目录里(或者你喜欢的地方,只要把 SPEECH_DATA 环境变量指向它)。每一章都会在你需要的时候重复下载说明。

目录 内容 chapters/ 书稿 code/ 一个 Rust crate,名为 speech,没有任何依赖:库在 src/,每章一个示例在 examples/,还有 speech 命令行工具 figures/ 书中的每一张图。大多数图都是我们自己的代码从真实音频中画出来的,所以它们也正是你的程序会生成的图 interactive/ 交互页面 models/ 我们训练好的权重,以及各章引用的训练运行日志 samples/ 用来试验的短录音 web/ 几行把识别器编译成 WebAssembly 的代码,好让网站在页面里运行它 site/ 把各章变成书籍网站的程序,交互页面嵌入在章节链接到它们的位置。它同样没有依赖

网站

这本书在线地址是 speech.tobiokewole.com。各章是纯 Markdown,在 GitHub 上读起来没问题,但 GitHub 无法在章节内运行交互页面。网站可以:它由同一批 Markdown 文件构建,凡是章节里写着“Play with it”的地方,页面就直接出现在正文中。

cargo run --release --manifest-path site/Cargo.toml

这会把整个网站写到 _site/;在浏览器中打开 _site/index.html 即可。有一个页面——第 11 章中在浏览器里运行的识别器——还需要在构建前执行 rustup target add wasm32-unknown-unknown,并且需要一个本地 Web 服务器来查看(例如在 _site/ 里执行 python3 -m http.server),因为浏览器不会从磁盘文件加载 WebAssembly,也不会从磁盘文件打开麦克风。

已发布的网站以静态文件形式托管在 Cloudflare 上。每次推送到 main,都会由 site/cloudflare-build.sh 在那里构建并发布。site/publish.sh 手动完成同样的事(wrangler.jsonc 就是全部配置),并设置公开版本额外添加的两样东西:从课程列表指向本仓库的链接,以及 Cloudflare Web Analytics——一个不设置 cookie 的访问计数器。你自己用上面的普通命令构建的网站这两样都没有,也不会从别处加载任何东西。

samples/ 里的录音来自 Free Spoken Digit Dataset(CC BY-SA 4.0)和 Google 的 Speech Commands 数据集(CC BY 4.0);samples/README.md 列出了每个文件及其来源。第四部分使用的 Whisper 权重是 OpenAI 的,以 MIT 许可证发布,由你自行下载,不包含在这里。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →