
Hadamask 推出向量数据库客户端加密工具,相似性搜索保持精确
来源标题:Hadamask – Encrypt RAG metadata, keep exact vector search
Hadamask 发布客户端保护方案,可在数据离开应用前加密 RAG 元数据并对向量做混淆,相似性搜索仍保持精确。该工具支持 Qdrant、Weaviate、Milvus、pgvector 等九种数据库及 LangChain、LlamaIndex,元数据采用 AES-256-GCM。研究指出其向量变换属可测量泄露的混淆而非加密,语料库相对几何关系仍可见。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
面向向量数据库的客户端保护。 对 embedding 做带密钥的正交混淆,对 metadata 用 AES-256-GCM 加密。相似度搜索仍然精确。 快速开始 · 安全模型 · Store API · 数据库 · 密钥管理 · 框架 · 设计
向量数据库需要 embedding 的几何结构才能进行搜索,因此向量通常以 embedding 模型生成的原始形态存放在数据库中,紧挨着文档的 metadata。任何拿到快照、备份或拥有过高权限数据库账号的人,这两样东西都能拿到。
hadamask 在数据离开你的应用之前就对其进行保护: 它支持 Qdrant、Weaviate、Milvus、Chroma、pgvector、Elasticsearch、OpenSearch、Redis 和 MongoDB Atlas,统一在一套 API 之下,并支持 LangChain 和 LlamaIndex。 该方法及其泄漏情况在《What a Secret Rotation Buys: Exact Retrieval and Measured Leakage in Vector Databases》(Cernica & Popescu, Applied Sciences 2026)中进行了分析。
它不是什么。embedding 变换是一种带有可测量泄漏的混淆,不是加密。它隐藏了坐标系,但你语料的相对几何关系(哪些文档与哪些文档相似)仍然可见。在论文的实验中,仅持有受保护向量和来自同一分布的公开数据的攻击者,推断文档主题的准确率达到 81–87%(四分类)。Metadata 是加密的。部署前请阅读安全模型。hadamask 是 alpha 软件,尚未经过外部密码学审计。
“精确”是什么意思。分数与明文向量上的分数在数学上完全相同(在 float32 舍入误差范围内)。对于 HNSW 这类近似索引,数据库返回的就是该索引在明文数据上会返回的结果:相对于穷举搜索的 recall 是引擎自身的,不是 hadamask 的。在基准测试中,recall 和 top-10 集合与未保护的集合一致。
工作原理 安全模型 安装 快速开始 核心概念 · 选择变换:hadamard 或 dense Store API 支持的数据库 Qdrant 和 Weaviate 的 SDK 封装 LangChain 和 LlamaIndex 密钥管理 密钥轮换 命令行 设计 基准测试 测试 路线图 引用
工作原理 flowchart LR subgraph trusted["Your application (trusted)"] A[Documents and queries] --> B[Embedding model] B --> C["hadamask<br/>vectors: v ↦ Q·v<br/>metadata: AES-256-GCM"] K[("Master key<br/>(Vault / KMS / HSM)")] -.-> C end C -- "transformed vectors<br/>ciphertexts, tokens" --> D[("Vector database<br/>any of 9 engines")] D -- "ids, scores,<br/>ciphertexts" --> C C --> E[Decrypted results] Loading
你的应用像往常一样对文档做 embedding。 hadamask 将向量填充到 2 的幂维度,并施加带密钥的正交映射 Q = H·D2·P·H·D1,它由 Walsh–Hadamard 变换、秘密符号翻转和秘密置换构成。由于 Q 是正交的,⟨Qu, Qv⟩ = ⟨u, v⟩。 每个 metadata 字段被序列化、填充,并用 AES-256-GCM 加密,或者根据你的策略进行 token 化或保留明文。 数据库对收到的内容建立索引并执行搜索,无需插件,无需修改配置。查询经过同样的变换,因此排名和分数就是明文数据上的排名和分数。 结果在你的进程内解密。
安全模型 威胁模型是攻击者获取了数据库的一份副本(快照、备份、泄漏的 dump 或过高权限账号),但没有获取你的应用或你的密钥。 论文关于 embedding 泄漏的测量结果: 不覆盖的情况:应用主机或密钥被攻陷;能够插入选定文档并随后读取快照的攻击者;查询和访问模式泄漏;服务端 vectorizer(数据库绝不能收到明文或明文向量)。 在你无法完全控制的数据库中,当威胁是静态数据时,使用 hadamask。它把门槛从“读取 dump”提升到“借助辅助数据,针对纯几何视图发起推断攻击”。如果你需要连语料几何结构本身也隐藏,你需要密码学协议或可信硬件。参见 SECURITY.md。
使用对应数据库的 extra 安装 hadamask: pip install "hadamask[pgvector]" # or qdrant, weaviate, milvus, chroma, ... pip install "hadamask[qdrant,langchain]" # several at once pip install "hadamask[all]" # every database, framework and key manager 单独安装 pip install hadamask 只装核心(向量变换和 metadata 加密,依赖 numpy 和 cryptography)。每个 extra 会添加它所需的客户端 SDK,因此 pgvector 部署不会拉入十几个其他数据库 SDK。如果缺少某个 extra,导入时会告诉你需要安装哪一个。
以下代码可直接运行,使用内存版 Qdrant(examples/quickstart.py): import numpy as np from qdrant_client import QdrantClient, models from hadamask import MasterKey, MetadataPolicy, Protector from hadamask.adapters.qdrant import QdrantStore
One key per tenant. "client" can be filtered on, "year" stays in clear,
every other field ("text", "amount", ...) is encrypted.
protector = Protector(MasterKey.generate("demo1"), MetadataPolicy(plaintext=["year"], blind=["client"])) client = QdrantClient(":memory:") store = QdrantStore(client, protector, payload_schema={"year": models.PayloadSchemaType.INTEGER}) store.create_collection("docs", dim=384, metric="cosine") # stored as 512-d embeddings = np.random.default_rng(0).standard_normal((3, 384)) # use your embedding model store.upsert( "docs", ids=[1, 2, 3], vectors=embeddings, payloads=[ {"text": "Wire transfer of 1,250,000 EUR to RO49AAAA1B31007593840000
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。