返回资讯中心
外部精选
软件工程
#开发者实时流

Long Tail Inference Lab 用 NVIDIA Jetson 等部件搭建全本地语音设备

来源标题:Local voice, intelligence closer to you

Long Tail Inference Lab 展示了一台完全本地运行的语音设备原型,用 NVIDIA Jetson Orin Nano Super 开发者套件承担推理,搭配 USB 麦克风、扬声器、M5Stack 按钮和 128GB microSD 卡存储系统与模型。用户按键录音后,设备在本地完成语音识别和语音合成并自动播放回答,状态灯显示就绪、录音、处理或播报状态。

Hacker News 最新itsrag2026/11/16 · 昨天17 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

长尾 推理实验室 一个完全本地的语音助手。 在设备内部 ↗ 本地语音。 一台小型计算机,有余力聆听、生成回答并开口说话。跟随这些部件,一步步组装成一台本地语音设备。 NVIDIA Jetson Orin Nano Super 8 GB · 开发者套件 操作系统和下载的模型都住在这里。存储卡保存持久文件;Jetson 另外的 8 GB 共享内存负责运行。 SanDisk Extreme microSD 128 GB · 系统与模型存储 USB 麦克风把你的口头问题带进设备。按下录音,再按一次把这段音频发送给本地语音识别。 Adafruit Mini USB 麦克风 3367 · 语音输入 回答再回到房间里。本地语音合成把完整的回答短语转成音频,在其余回答生成的同时自动播放。 Adafruit USB 扬声器 · 3369 示意图为紧凑外形概念 按一次开始,再按一次结束。设备忙碌时按下则取消。状态灯显示它处于就绪、录音、处理还是说话状态。 M5Stack AtomS3-Lite C124 · 按键与状态灯 电力来自墙插。部件之间互相连接。第一次搭建从一个简单的市电供电语音回路开始。 Jetson 电源适配器与 USB 线缆 随附电源 · 已连接外设 聆听。生成。说话。独立语音回路如今已能在板子上运行。这个外壳是努力的方向;实体搭建仍处于开放状态,并由市电供电。 努力的方向 示意性外壳概念 本地大脑 一个小小的开始。其余一切随之而来。 ↓滚动组装 计算 01 存储 02 聆听 03 说话 04 控制 05 供电 06 合体 07 01/07 在设备内部,每个部件都有明确分工。语音模型听懂词语。语言模型形成回答。语音合成器赋予它声音。 “法国的首都是哪里?”你对着本地语音说话。它的麦克风捕捉到你问题的声音。 转写文本和一段简短的系统指令成为语言模型的输入。它逐个 token 生成文本,利用训练中学到的模式。一个 token 可能是一个词或词的一部分;上方的小方块是简化示意。这里没有联网查询,回答仍可能出错。 Whisper tiny.en 识别语音。Gemma 4 E2B 生成文本回答。Piper 的 LJ Speech medium 声音模型合成回复。所选配置使用 whisper.cpp 和 llama.cpp(CUDA)进行识别与回答,Piper 在 CPU 上负责语音。模型在设备就绪前加载并常驻内存。完整短语在 Gemma 生成过程中就传给 Piper;播放可以与后续的生成和合成重叠。上面的阶段只是为了清晰而把职责分开;它们是共享同一台 Jetson 的软件,并非独立的物理模块。 当前设备处理英语,一次一个问题。没有对话历史、网络搜索、文档检索或云端回退。临时音频在正常完成、取消和普通错误时会被清理。 此示意图对应当前的 Gemma/Piper 部署:Whisper tiny.en F16、Gemma 4 E2B 指令微调版 Q4_K_M,以及 Piper 1.8.0 搭配 en_US-ljspeech-medium(22,050 Hz 音频)。Gemma 路径接收来自 Whisper 的文本,并不使用 Gemma 原生的音频能力。思考输出已禁用。Piper 内嵌的 eSpeak 音素化器提供发音单元;其神经 ONNX 声音模型生成波形。该示意图是概念性的,并非字面上的层数、实测频谱图、精确的 tokenizer 追踪或板卡布局。外壳仍是一个外形概念。 技术参考:Whisper、Google Gemma 和 Piper 神经语音。 回答上下文为 2,048 token,默认响应上限 128 token。设备模式在短语到达时逐句朗读。若输出上限或后续流错误中止生成,剩余语音也会停止;已经说出的短语无法收回。命令行路径在导出前会校验完整回答。运行时提交、模型版本和 SHA-256 哈希都固定在运行时锁文件中。 初始设置会下载软件和权重。部署的服务及其三个模型/语音子进程在网络命名空间中只有回环接口;这是围绕服务的边界,并不声称整块板子没有网络。临时音频使用内存支撑的存储。进程被强制杀死和操作系统行为各有不同的保留期限;不提供取证级擦除保证。 实体设备已经不再只是清单上的零件。以下是当前证据能够确立的——以及仍在测试中的部分。 实体 Jetson 已完成独立的按键到语音回答检查,包括断开笔记本电脑后使用。无头服务和重启后自启动也已演练。 Whisper、Gemma 4 E2B 和 Piper 现在保持加载,回答生成、短语合成和播放相互重叠。全部 55 项回归检查通过。两个确认的实时回答在采集结束后 1.113 秒和 1.061 秒到达播放请求;声学起始时间未做测量。九次短的自制 WAV 试验在 0.795–0.970 秒到达播放请求(中位数 0.827),不含麦克风采集和声学起始。这些小样本不能确立普遍的亚秒级响应。新的配置专属重启/断连检查和长时间会话验证仍待完成。阅读部署记录。 Gemma 使用 Q4_K_M 权重。Piper 所选英语声音产生 22,050 Hz 音频。模型身份已固定;这些配置值不是质量分数或延迟测量。 本地语音是长尾推理实验室的一个本地语音问答项目。上述硬件故事保留了外壳概念,而可工作的原型在一块开放、市电供电的板子上继续开发。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →