pgvector 与 RAG 落地:Postgres 里的向量索引选型、混合检索与容量边界
RAG 管道(切分-召回-重排)的文章里我们说过"召回宽、重排严"。落到存储层,多数中小规模团队的最优解不是引入专用向量库,而是 pgvector:向量与业务数据同库、同一事务、同一条备份链。2026 年的 pgvector(0.8.x)已支持 HNSW/IVFFlat、halfvec/bit 量化与迭代式扫描。本文给工程选型与容量边界:什么时候 pgvector 够用、索引参数怎么定、混合检索怎么实现、什么时候必须换专用引擎。
一、建表与索引:HNSW 是默认答案
CREATE EXTENSION vector;
CREATE TABLE chunks (
id bigint GENERATED ALWAYS AS IDENTITY PRIMARY KEY,
article_id bigint REFERENCES articles(id) ON DELETE CASCADE,
heading text, body text,
emb halfvec(1024), -- bge-m3/qwen3-emb 常用维度;halfvec 省一半内存
updated_at timestamptz DEFAULT clock_timestamp()
);
CREATE INDEX ON chunks USING hnsw (emb halfvec_cosine_ops)
WITH (m = 24, ef_construction = 200);
要点:
- halfvec(fp16)替代 float32:内存减半、召回几乎无损,超过 2000 维还能避开索引列长限制;量化再省可用
bit+ Hamming(需二值化模型或多位重排序); - HNSW 参数经验:
m=16~32(连接度)、ef_construction=200(建索引质量);查询侧hnsw.ef_search(默认 40)按 recall 要求调——recall@k 与延迟的权衡旋钮就这一个; - IVFFlat 只在"数据静态 + 内存极紧"时用(
lists ≈ rows/1000),增量写入质量差,HNSW 是 2026 年的默认选择。
二、查询模式与元数据过滤:pre-filter vs post-filter
RAG 真实查询几乎都带条件(按文章、按语言、按时间):
SELECT id, heading, 1 - (emb <=> :qvec) AS score
FROM chunks
WHERE article_id = ANY(:ids) AND lang = 'zh' -- 业务过滤
ORDER BY emb <=> :qvec LIMIT 50; -- 向量近邻
HNSW 的过滤是 post-filter 倾向(图遍历中被过滤掉的邻居照样消耗 ef_search 预算):过滤条件命中率高(>10%)时没问题;过滤后只剩千分之几时 recall 会崩。对策三选一:调大 ef_search、把高频过滤维度做进复合索引思路(pgvector 无原生带标量过滤的 HNSW,社区方案是分区表按 lang/tenant 切分)、或应用层两段查(先取候选 id 集合再向量排)。
迭代式索引扫描(pgvector 0.8+ hnsw.iterative_scan)正是为过滤场景补的课:自动继续遍历直到凑够 k,设 relaxed_order 平衡内存。
三、混合检索:向量 + tsvector 的 RRF 融合
纯向量对型号名、错误码、专有名词召回差(此前 RAG 篇的结论),PG 里加全文是顺手的事:
ALTER TABLE chunks ADD COLUMN tsv tsvector
GENERATED ALWAYS AS (to_tsvector('simple', heading || ' ' || body)) STORED;
CREATE INDEX ON chunks USING gin (tsv);
WITH vec AS (
SELECT id, row_number() OVER (ORDER BY emb <=> :qvec) r
FROM chunks WHERE article_id = ANY(:ids) LIMIT 100
), lex AS (
SELECT id, row_number() OVER (
ORDER BY ts_rank_cd(tsv, websearch_to_tsquery('simple', :kw)) DESC) r
FROM chunks WHERE tsv @@ websearch_to_tsquery('simple', :kw) LIMIT 100
)
SELECT c.id, sum(1.0/(60 + r)) AS rrf
FROM (SELECT id,r FROM vec UNION ALL SELECT id,r FROM lex) x
JOIN chunks c USING (id)
GROUP BY c.id ORDER BY rrf DESC LIMIT 8;
RRF(倒数排名融合)不需要统一分数标度,两路各取 top100、k=60 是稳定起点。中文全文用 zhparser/pg_jieba 扩展或直接用 simple + 应用侧分词写冗余列。这套方案替代了独立的 BM25 服务——少一个组件就少一类同步故障。
四、容量边界:什么时候 pgvector 撑不住
经验阈值(HNSW,单节点):
| 向量规模 | 状态 |
|---|---|
| <100 万 × 1024 halfvec | 舒适区;索引 ~2GB 内存可全常驻 |
| 100~1000 万 | 可行但要算内存账:HNSW 约 维度×2字节×rows×1.5,需专用实例 + 分区 |
| >1000 万 或 QPS>500 KNN | 换专用引擎(Milvus/Qdrant/Turbopuffer)或分片 |
三个隐性成本:索引构建时间(千万级 HNSW 建数小时,用并行 max_parallel_maintenance_workers + 分批)、内存映射(HNSW 图随机访问模式对 shared_buffers 不友好,OS cache 也要预算)、更新放大(embedding 模型换代 = 全表重算重插,设计时把 model_version 列进 schema,新旧索引双跑切换)。
五、与业务事务的一致性红利
pgvector 最大的架构收益常被忽略:嵌入与源数据同事务。文章发布 → 切分 → 嵌入 → 写 chunks 表,一个事务提交;删文章级联删向量;备份恢复后检索自动一致。专用向量库则要维护"DB-向量库"同步链路(outbox/CDC),那是长期故障源。
运维侧:pgvector 索引纳入既有 pg_dump/物理备份、复制链(逻辑复制对 DDL 的限制注意扩展版本对齐);监控加两件事——pg_stat_statements 里 KNN 查询的 mean time、以及 ef_search 调整后的 recall 离线评估(拿标注集跑,别在线试)。
六、RAG 集成清单(对接检索管道篇)
- 切分块写 chunks(heading 拼入嵌入文本,元数据列齐);
- 召回:向量 top100 + tsvector top100 → RRF → top30 进重排;
- 重排在应用侧 Cross-Encoder(不在数据库做),取 top5 组上下文;
- 版本化:
model_version+ 双列(emb_v1/emb_v2)滚动切换; - 评估集挂 CI:recall@50/MRR 用 SQL 可复现,管道改动可归因。
小结
pgvector 在 2026 年的能力面(HNSW + halfvec + 迭代扫描 + tsvector 全文同库 RRF)已覆盖千万向量以内、中等 QPS 的绝大多数业务 RAG。选型判据按容量表走:舒适区留在 PG,边界外才引入专用引擎——且要连同同步链路成本一起计。参数上只调两个旋钮(ef_search 换 recall、分区/两段查救过滤场景),一致性红利(同事务、同备份链)才是它相对专用库的真正护城河。
评论(0)
登录 后参与评论。