返回资讯中心
外部精选
软件工程
#开发者实时流

Visiongrep:Rust 实现的本地语义图片搜索工具

来源标题:Show HN: Visiongrep – local semantic image search in Rust

Visiongrep 是一个用 Rust 编写的 CLI 工具,可在本地运行 CLIP 推理,用自然语言描述或参考图片搜索本地图片。它会将图片嵌入缓存到 SQLite 以加速重复搜索,结果支持文本、JSON 和 NUL 分隔格式,便于脚本和 AI 编码代理调用。预编译版本支持 Apple Silicon macOS 以及 Linux x86_64/arm64,不支持 Intel Mac。

Hacker News 最新udayj2026/11/13 · 4 天前24 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

用自然语言描述或参考图片搜索本地图像。VisionGrep 是一个 Rust CLI,它在本地运行 CLIP 推理,并将嵌入缓存到 SQLite 中以支持重复搜索。它会递归搜索 JPEG、PNG、WebP 和 BMP 文件,但不会跟随符号链接。它的设计目标是既可供脚本和 AI 编程代理调用,也可供人使用:结果以稳定的文本、JSON 或 NUL 分隔格式输出到 stdout,诊断信息输出到 stderr,退出码用于区分「无匹配」和错误。参见「与 AI 代理配合使用」。

预构建二进制文件适用于 Apple Silicon macOS 和 Linux(x86_64 和 arm64,glibc 2.39 或更新版本,例如 Ubuntu 24.04)。不支持 Intel Mac,因为 ONNX Runtime 没有为它们发布预构建的 CPU 二进制文件。将最新版本安装到 ~/.cargo/bin: curl --proto '=https' --tlsv1.2 -LsSf https://github.com/udayj/visiongrep/releases/latest/download/visiongrep-installer.sh | sh visiongrep "a dog on a beach" ./photos visiongrep --image ./reference.jpg ./photos 若要从代码检出构建,请运行 cargo build --release 并使用 ./target/release/visiongrep。构建需要 Rust 1.89 或更新版本以及一个 C 编译器;优化构建需要几分钟。

所需的模型文件会在首次使用时自动下载。它们存储在 $XDG_CACHE_HOME/visiongrep/models/,当 XDG_CACHE_HOME 未设置或为空时则存储在 ~/.cache/visiongrep/models/。一旦所需模型已缓存,搜索就可以离线运行。图片查询会将查询图片本身从结果中排除。

DataComp CLIP 视觉模型使用动态 INT8 量化,最后的投影层和第一个 transformer 块保持 FP32。视觉模型约 119 MB(从 352 MB 降下来);FP32 文本模型和 tokenizer 另加约 257 MB。更换视觉模型会导致现有索引在下次使用时重新嵌入图像一次。

首次使用时,VisionGrep 还会为其加载的每个模型在 models/optimized/ 下保存一个优化后的 ONNX 图。后续进程会复用兼容的图以减少模型启动工作。视觉图和文本图分别缓存;tokenizer 不变。首次使用仍需承担优化和保存的开销。在 Apple Silicon 上,优化后的视觉图和文本图分别测得约 119 MB 和 254 MB,增加约 373 MB 磁盘占用;大小可能因平台而异。已在运行的服务会复用其已加载的会话。

优化图与源模型、ONNX Runtime 构建和本地硬件配置绑定。如果优化图无法使用或无法保存,VisionGrep 会回退到原始模型。删除 models/optimized/ 会导致这些图在后续使用时重新构建。

--no-cache 绕过 SQLite 索引,而模型文件和优化图仍保持缓存。 visiongrep "sunset" ./photos --top 10 --threshold 0.3 visiongrep "sunset" ./photos --json visiongrep "sunset" ./photos --paths-only visiongrep "sunset" ./photos --index-path ./photos.db visiongrep "sunset" ./photos --no-cache visiongrep --help 默认最多返回五个结果,最小余弦相似度为 0.25。分数是相似度,不是概率。结果输出到 stdout;进度和诊断信息输出到 stderr。使用 --null 可获得以 NUL 字节分隔的精确路径,或使用 --quiet 抑制进度。退出码为 0 表示有匹配,1 表示无匹配,2 表示操作或参数错误。

visiongrep index ./photos index 会下载任何缺失的模型,嵌入新增或更改的图像,并准备两个模型的优化图,而不运行查询。之后首次搜索只需嵌入其查询。它接受 --index-path PATH 和 --quiet,成功时退出码为 0,出错时为 2,且不向 stdout 写入任何内容。可随时再次运行;未更改的图像会被跳过。

索引每 256 张图像保存一次进度,因此中断的索引或搜索在再次运行时会从停止处继续。中断的模型下载会重新开始该文件。当 stderr 不是终端时,进度会以 Indexed N/TOTAL images 行的形式报告,而不是进度条。

具备 shell 的编程代理(例如 Claude Code 或 Codex)可以直接调用 visiongrep。首次使用某个文件夹是较慢的部分:它会下载约 375 MB 的模型并嵌入每张图像,对于几千张照片可能需要几分钟,并可能超出代理的命令超时。在将文件夹交给代理之前,请先自行运行一次 visiongrep index DIR,或让代理以较长的超时运行它。之后,新查询耗时远低于一秒,重复查询只需几毫秒。如果代理的命令在索引期间被中断,再次运行会从已保存的进度继续。

针对一个文件夹进行多次查询时,请在后台启动 visiongrep serve --socket DIR。普通搜索随后会自动使用已加载的模型,命令无需更改。并发搜索可以共享一个索引。当其他搜索使用同一索引时,不要运行 --reindex(参见下面的已知限制)。

可供 AGENTS.md 或 CLAUDE.md 改编的片段: 要按内容查找图像,请使用 visiongrep "<description>" <dir> --json --top 10,或使用 visiongrep --image <file> <dir> --json 查找相似图像。退出码 1 表示没有图像匹配;在断定没有匹配之前,请用不同的描述或 --threshold 0.2 重试。如果该重试只返回不相关的图像,则该图像不在文件夹中。请如实说明;不要逐个打开或扫描图像来双重确认。 分数是原始余弦相似度(良好匹配约为 0.25–0.35),不是概率。切勿传入 --reindex。

持久套接字服务器 为某个搜索目录启动一个可选的服务器,以便在普通 CLI 搜索中复用其已加载的模型: visiongrep serve --socket ./photos & visiongrep "a dog on a beach" ./photos 该服务器在前台运行,直到停止。当搜索目录和解析后的索引路径匹配时,搜索会自动使用它;否则它们会作为正常的单次搜索运行。使用自定义索引时,请向服务器和搜索传递相同的 --index-path。服务器会加载模型

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →