🔍 登录 注册

pgvector 调优续篇:向量索引的分片与混合检索

半 半山听雨 2026-11-19 👁 2 ⏱ 4min

pgvector 调优续篇:向量索引的分片与混合检索

RAG 落地后的第一波调优(索引选型、距离函数)走完后,规模上去会遇到第二波问题:单表上亿向量后 HNSW 建索引越来越慢、召回率与延迟开始互相拉扯、纯向量检索的语义漂移需要关键词兜底。本文是 pgvector 调优的第二篇:分片策略、HNSW 参数进阶与混合检索的落地。

一、规模分水岭:什么时候开始分

单表向量规模的经验分水岭:

规模 建议
<100 万 单表 + ivfflat/hnsw,无需分片
100 万~5000 万 分区表(按业务域/时间),HNSW 每分区建
>5000 万 分区 + 应用层路由,或评估专用向量库

分区是 PG 里最自然的"分片":按业务键分区后,查询路由只打一个分区的 HNSW 索引,建索引时间与单分区规模挂钩:

-- 按文档域分区 + 每分区 HNSW
CREATE TABLE embeddings (
  id bigserial,
  doc_domain text NOT NULL,
  chunk text,
  embedding vector(1024),
  PRIMARY KEY (doc_domain, id)
) PARTITION BY LIST (doc_domain);

CREATE TABLE embeddings_kb PARTITION OF embeddings FOR VALUES IN ('kb');
CREATE TABLE embeddings_faq PARTITION OF embeddings FOR VALUES IN ('faq');

CREATE INDEX ON embeddings_kb USING hnsw (embedding vector_cosine_ops)
  WITH (m = 24, ef_construction = 128);

二、HNSW 参数进阶:m 与 ef 的取舍

第一波调优通常只碰 ef_search(查询时)。第二波要碰建索引参数:

参数 影响 调整方向
m 每节点出边数 召回↑内存↑;16→32 适合高要求场景
ef_construction 建图搜索深度 建索引时间↑质量↑;默认64,高召回用128
ef_search 查询候选池 延迟↑召回↑;用真实查询分布扫参

扫参脚本:固定查询集,遍历 ef_search 找召回/延迟平衡点:

#!/bin/bash
# tune-ef.sh:用固定查询集扫描 ef_search
# queries.txt:预先准备的真实查询向量(一行一个向量文本)
for ef in 40 80 160 320; do
  psql -Atc "SET hnsw.ef_search=$ef;" > /dev/null
  start=$(date +%s%N)
  recall=$(psql -Atf eval_recall.sql $ef 2>/dev/null)
  end=$(date +%s%N)
  echo "ef_search=$ef recall=$recall latency_ms=$(( (end-start)/1000000 ))"
done
# 以"召回达标前提下延迟最低"为选点原则

召回评估的正确姿势:以精确检索(不建索引的顺序扫描)的 top-K 为基准集,计算交集比例:

-- eval_recall.sql:召回率评估(K=10)
WITH truth AS (
  SELECT id FROM embeddings_kb
  ORDER BY embedding <=> (SELECT embedding FROM embeddings_kb LIMIT 1 OFFSET 42)
  LIMIT 10
)
SELECT round(100.0 * count(*) / 10, 1) AS recall_pct
  FROM (
    SELECT id FROM embeddings_kb
    ORDER BY embedding <=> (SELECT embedding FROM embeddings_kb LIMIT 1 OFFSET 42)
    LIMIT 10
  ) approx
  JOIN truth USING (id);

三、混合检索:向量与关键词的融合

LLM 时代纯向量检索的经典失败模式:专有名词(产品代号、错误码)语义漂移,向量找不回,关键词一击命中。混合检索的落地在 PG 里很直接——全文检索与向量检索各查一路,融合排序:

-- 混合检索:向量相似 + tsvector 全文匹配加权融合
WITH vec AS (
  SELECT id, 1 - (embedding <=> $1) AS score
    FROM embeddings_kb
   ORDER BY embedding <=> $1 LIMIT 50
), kw AS (
  SELECT id, ts_rank(tsv, websearch_to_tsquery('simple', $2)) AS score
    FROM chunks WHERE tsv @@ websearch_to_tsquery('simple', $2)
   LIMIT 50
)
SELECT id,
       COALESCE(v.score,0) * 0.7 + COALESCE(k.score,0) * 0.3 AS final
  FROM vec v FULL JOIN kw k USING (id)
 ORDER BY final DESC LIMIT 10;

权重(0.7/0.3)按业务查询类型分桶调:专有名词查询提高关键词权重。tsvector 列与向量索引并存,写入路径统一维护。

四、写入路径:批量导入的窗口期策略

分片后的大规模重建(换模型重嵌入)是常态操作。要点是"分区并行建索引 + 维护窗口":

# 逐分区并行建 HNSW(走不同分区互不阻塞)
psql -c "CREATE INDEX CONCURRENTLY ON embeddings_kb USING hnsw (embedding vector_cosine_ops) WITH (m=24, ef_construction=128);" &
psql -c "CREATE INDEX CONCURRENTLY ON embeddings_faq USING hnsw (embedding vector_cosine_ops) WITH (m=24, ef_construction=128);" &
wait
# CONCURRENTLY 避免锁全表,但耗时更长——离线重建用普通 CREATE INDEX 更快

小结

pgvector 第二波调优的三个抓手:规模分水岭上分区表(每分区独立 HNSW)、建索引参数 m/ef_construction 与查询 ef_search 联动扫参(以精确检索为基准评估召回)、向量+全文的混合检索兜底语义漂移。上亿规模后认真考虑"PG 为主还是专用向量库为主"的架构题——但在此之前,分区与混合检索通常还能再撑一年。

读完了?给作者一点支持

本文采用 CC BY 4.0 协议转载 · © 半山听雨

评论(0)

登录 后参与评论。

  • 还没有评论,来抢沙发。

🔗 相关文章

审计人的职业规划地图:事务所、企业内审、监管与自由执业的四条路线

"做了三年审计接下来去哪"是行业论坛上的永恒问题。2026 年的就业市场给出了新的答案坐标:AI 压缩了基础核算与核对类岗位,同时抬高了风险判断、内控体系、数据审计类岗位的身价。本文把审计人的出路整理成四条主路线——事务所纵深、企业内审/风控、监管与准则机构、自由执业/专家证人——每条给进入条件、典型轨迹、5 年收入区间感与适配画像,帮你做一次结构化的自我定位。

2 天前👍 1

Spring Cloud 2026.0.0-RC2 Paddington 发布:版本列车迁移指南

2026 年 11 月 5 日,Spring 官方宣布 Spring Cloud 2026.0.0-RC2(代号 Paddington)发布——这是继 2025.1.x(Oakwood)之后的下一个版本列车,对应 Spring Boot 4.2.x 世代。对还在 Oakwood 上的团队,这是规划迁移的最佳窗口。本文基于官方项目页与博客的权威信息(2026-11-19 抓取),给出版本列车的现状、迁移核对清单与回滚预案。

9 小时前👍 1

显卡算力十一月观察:Vera Rubin 接棒与推理性价比的重算

2026 年 11 月,GPU 算力市场进入 Vera Rubin 接棒期:vLLM 官方数据显示 Vera Rubin NVL72 对 GB200 NVL72 达 7.8 倍单卡吞吐(10-09),对 GB300 NVL72 在 DeepSeek-V4.1-Flash 上达 58 倍同等交互性吞吐(11-12);NVIDIA 同时发布 RTX Spark 紧凑桌面(11-18)与 DGX Spark 开发者套件(11-16),Lambda 则引入光互连提升 AI 工厂弹性(11-16)。代际跳跃幅度如此之大,意味着一年前的算力成本模型已经作废。本文给工程团队一份重算框架与采购/租赁决策清单。

11 小时前👍 1