探How 社区

Clap.cpp 发布：用 C++ 和 GGML 实现音频嵌入推理

来源标题：Show HN: clap.cpp – Audio embedding inference in C++ (GGML)

开源项目 Clap.cpp 发布，基于 C++20 和 GGML 实现音频嵌入推理，支持 CLAP、CLAP2 系列、CLaMP3、MERT、MuQ 等模型，可同时处理文本和音频输入。项目提供 GGUF 格式模型，支持 CPU、CUDA、Vulkan 后端，并已提供 Python、Rust、Node.js 绑定及 pip、cargo、npm 安装方式。工具支持命令行生成嵌入向量和启动本地推理服务器。

Hacker News 最新lutun2026/11/9 · 今天5 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新（原文版权归原站所有），可能存在偏差，重要内容请以原文为准。

音频嵌入推理特性：支持文本与音频的处理。支持文本和音频。

C++20/ggml 实现的音频嵌入推理功能：

模型	文本	音频	嵌入维度	采样率
CLAP	✅	✅	512	48 kHz
CLAP2 Large	✅	✅	960	32 kHz
CLAP2 Medium	✅	✅	640	32 kHz
CLAP2 Small	✅	✅	512	32 kHz
CLAP2 XS	✅	✅	320	32 kHz
CLAP2 XXS	✅	✅	224	32 kHz
CLaMP3	✅	✅	768	24 kHz
MERT v1 95M	❌	✅	768	24 kHz
MERT v1 330M	❌	✅	1,024	24 kHz
MERT v2 FullSong / 30s	❌	✅	1,024	24 kHz
MuQ	❌	✅	1,024	24 kHz
MuQ-MuLan	✅	✅	512	24 kHz

GGUF 模型可在 Audio Embedding GGUF collection 获取。

绑定支持情况：

语言	CPU	CUDA	Vulkan	安装方式
Python	✅	✅	✅	`pip3 install clap-cpp`
Rust	✅	✅	✅	`cargo install clap-cpp`
Node.js	✅	❌	❌	`npm install clap-cpp`

用法：

Embeddings 命令

加载转换后的 GGUF 模型，生成真正的原生文本或音频嵌入：

clap embedding --model larger_clap_general-q4_k_m.gguf --text 'Sound of a dog'
clap embedding --model larger_clap_general-q4_k_m.gguf --audio dog.wav

Embeddings 服务

使用支持所需模态的 GGUF（例如 CLAP、CLaMP3 或 MuQ-MuLan）启动服务（默认监听地址：127.0.0.1:8080）：

clap serve --model larger_clap_general-q4_k_m.gguf --host 127.0.0.1 --port 8080

模型在启动时只加载一次。其 API 标识符为 GGUF 文件名（本例中为 larger_clap_general-q4_k_m.gguf），而非完整路径或 Hugging Face 仓库 ID。

发送 OpenAI 兼容的文本嵌入请求：

curl http://127.0.0.1:8080/v1/embeddings \
 -H 'Content-Type: application/json' \
 -d '{"model":"larger_clap_general-q4_k_m.gguf

正文由探How 从来源站点 RSS 同步，内容未经改写；遇到排版缺失或需要图片、视频时请以原文为准。