🔍 登录 注册

RAG 检索质量治理:从"召回了"到"回答了"的评估闭环

半 半山听雨 2026-11-19 👁 0 ⏱ 6min

RAG 检索质量治理:从"召回了"到"回答了"的评估闭环

Spring AI 团队 2026 年 10 月的 Modular RAG 博客标题写得很准:"Retrieve More, Keep Only What Answers"——检索可以广,上下文只留能回答的。这句话背后是 RAG 系统最被低估的问题:没有检索质量评估闭环的 RAG,永远不知道自己坏在哪一环。本文给出把 RAG 从"感觉能用"推进到"有指标闭环"的完整方法,以 pgvector 为主例(Java/Spring AI 的思路完全通用,前篇 u2 文章已给 Spring 侧实现)。

一、RAG 的四级评估:每级一个可量化指标

RAG 不是单一指标能评价的,拆成四级、每级配一个可以直接计算的指标:

RAG 质量四级评估体系
├─ L1 检索召回:该找到的文档找到了吗
│   指标:Recall@K(标注答案文档是否在 top-K)
├─ L2 排序质量:找到的排前面了吗
│   指标:MRR / nDCG(首个正确文档的排名倒数)
├─ L3 上下文有效性:留下的片段能支撑回答吗
│   指标:上下文利用率(生成回答时实际引用的比例)
├─ L4 端到端正确:最终答案对吗
│   指标:答案正确率(人工抽检/LLM-as-judge 校准)
└─ 治理规则:哪一级坏了修哪一级——
    端到端差但 L1 好 → 问题在生成端;
    L1 就差 → 先修检索,别动提示词
# rag_eval.py:四级指标的最小实现
def recall_at_k(retrieved_ids, gold_ids, k=10):
    hit = len(set(retrieved_ids[:k]) & set(gold_ids))
    return hit / len(gold_ids) if gold_ids else 0.0

def mrr(retrieved_ids, gold_ids):
    for rank, rid in enumerate(retrieved_ids, 1):
        if rid in gold_ids:
            return 1.0 / rank
    return 0.0

# 一组标注数据(问题 → 正确文档ID)
cases = [
    {"q": "函数计算怎么做", "gold": ["doc-7"], "got": ["doc-2", "doc-7", "doc-9"]},
    {"q": "退款政策",     "gold": ["doc-3"], "got": ["doc-1", "doc-2", "doc-4"]},
]
r = sum(recall_at_k(c["got"], c["gold"]) for c in cases) / len(cases)
m = sum(mrr(c["got"], c["gold"]) for c in cases) / len(cases)
print(f"Recall@3 = {r:.0%} | MRR = {m:.2f}")
# L1 差先修检索(扩 K/改嵌入),L2 差加 rerank——
# 分级定位,不盲目改提示词

二、pgvector 侧的检索质量基础设施

评估闭环需要基础设施支撑。pgvector 方案里三件套:查询日志、标注集、混合检索的消融测试:

-- 基础设施1:检索日志表(供回放评估)
CREATE TABLE rag_query_log (
  id bigserial PRIMARY KEY,
  created_at timestamptz DEFAULT now(),
  question text,
  embedding vector(1024),
  retrieved_ids bigint[],        -- 命中的 chunk id 列表
  final_answer text,
  user_feedback smallint         -- 用户点踩/点赞(-1/0/1)
);

-- 基础设施2:混合检索(向量 + 全文),供消融对比
WITH kw AS (
  SELECT id FROM chunks
   WHERE tsv @@ websearch_to_tsquery('simple', $2)
   LIMIT 30
), vec AS (
  SELECT id, embedding <=> $1 AS dist FROM chunks
   ORDER BY embedding <=> $1 LIMIT 30
)
SELECT id FROM (
  SELECT id, 1.0 / (1 + row_number() OVER (ORDER BY id)) AS rrr FROM
    (SELECT id FROM kw UNION SELECT id FROM vec) u
) x ORDER BY rrr DESC LIMIT 10;
# ablation.py:混合检索的消融测试(哪一路在贡献)
def ablation(dataset):
    """向量only / 关键词only / 混合 三路对比"""
    results = {}
    for mode in ("vector", "keyword", "hybrid"):
        recall = sum(mode in c["contrib"] for c in dataset) / len(dataset)
        results[mode] = recall
    return results

ds = [{"contrib": ["vector", "hybrid"]},
      {"contrib": ["keyword", "hybrid"]},
      {"contrib": ["vector", "keyword", "hybrid"]}]
print(ablation(ds))
# {'vector': 0.67, 'keyword': 0.67, 'hybrid': 1.0}
# 混合检索贡献了单独任一路覆盖不到的 33% ——
# 这就是"保留两路"的量化依据

三、Spring AI 与 pgvector 的协作:自定义 Embeddings 的工程意义

Spring AI 2.1 的自定义 Embeddings + upsert(前篇 u2 文章)与 pgvector 结合时有一个被低估的工程价值:嵌入与文档的生命周期解耦后,可以独立升级嵌入模型而不重排文档:

嵌入模型升级的正确姿势
├─ 错误做法:文档更新时顺手重嵌入 → 嵌入版本混杂,
│   新旧向量同库比较,检索质量莫名波动
├─ 正确做法:
│   ├─ chunks 表加 embedding_version 字段
│   ├─ 新模型嵌入写入 version 标记的平行列
│   ├─ 消融对比:新版本 Recall@K vs 旧版本
│   └─ 通过后灰度切换,旧列保留回滚
└─ Spring AI 的 upsert(自带嵌入)恰好支持这个流程
-- 嵌入版本平行列方案
ALTER TABLE chunks ADD COLUMN embedding_v2 vector(1024);
ALTER TABLE chunks ADD COLUMN embedding_ver smallint DEFAULT 1;
-- 检索按版本路由,消融通过后全量刷 v2 并切默认
SELECT id, embedding_v2 <=> $1 AS dist
  FROM chunks WHERE embedding_ver = 2
 ORDER BY embedding_v2 <=> $1 LIMIT 10;

四、闭环运营:把评估变成周例行

RAG 质量闭环的最后一块是运营节奏:

# crontab:每周一跑评估集 + 输出四级指标周报
0 9 * * 1 /opt/rag/eval_pipeline.sh | mail -s "RAG质量周报" team@firm.cn
# weekly_report.py:四级周报生成
def weekly_report(eval_results: dict, feedback: dict):
    print("== RAG 质量周报 ==")
    print(f"L1 Recall@10: {eval_results['recall']:.0%}")
    print(f"L2 MRR:       {eval_results['mrr']:.2f}")
    print(f"L4 端到端:    {eval_results['e2e']:.0%}")
    print(f"用户点踩率:   {feedback['dislike_rate']:.1%}")
    worst = min(eval_results, key=eval_results.get)
    print(f"本周最弱环节: {worst} -> 优先修复")
# 周报纪律:每周只修最弱一环——RAG 治理是持续工程
# 不是一次性调参

小结

RAG 检索质量治理的闭环方法:四级评估体系(召回/排序/上下文有效性/端到端)每级有可计算指标,哪级坏了修哪级;pgvector 侧的基础设施三件套(查询日志/标注集/混合检索消融);嵌入模型升级用版本平行列+消融灰度(Spring AI 2.1 的 upsert 恰好支持);运营节奏是周例行、每周只修最弱一环。"Retrieve More, Keep Only What Answers" 的完整含义:检索要广(保证 L1),上下文要窄(保住 L3),而知道两头都做到没有——靠评估闭环。

读完了?给作者一点支持

本文采用 CC BY 4.0 协议转载 · © 半山听雨

评论(0)

登录 后参与评论。

  • 还没有评论,来抢沙发。

🔗 相关文章

审计人的职业规划地图:事务所、企业内审、监管与自由执业的四条路线

"做了三年审计接下来去哪"是行业论坛上的永恒问题。2026 年的就业市场给出了新的答案坐标:AI 压缩了基础核算与核对类岗位,同时抬高了风险判断、内控体系、数据审计类岗位的身价。本文把审计人的出路整理成四条主路线——事务所纵深、企业内审/风控、监管与准则机构、自由执业/专家证人——每条给进入条件、典型轨迹、5 年收入区间感与适配画像,帮你做一次结构化的自我定位。

2 天前👍 1

Spring Cloud 2026.0.0-RC2 Paddington 发布:版本列车迁移指南

2026 年 11 月 5 日,Spring 官方宣布 Spring Cloud 2026.0.0-RC2(代号 Paddington)发布——这是继 2025.1.x(Oakwood)之后的下一个版本列车,对应 Spring Boot 4.2.x 世代。对还在 Oakwood 上的团队,这是规划迁移的最佳窗口。本文基于官方项目页与博客的权威信息(2026-11-19 抓取),给出版本列车的现状、迁移核对清单与回滚预案。

9 小时前👍 1

显卡算力十一月观察:Vera Rubin 接棒与推理性价比的重算

2026 年 11 月,GPU 算力市场进入 Vera Rubin 接棒期:vLLM 官方数据显示 Vera Rubin NVL72 对 GB200 NVL72 达 7.8 倍单卡吞吐(10-09),对 GB300 NVL72 在 DeepSeek-V4.1-Flash 上达 58 倍同等交互性吞吐(11-12);NVIDIA 同时发布 RTX Spark 紧凑桌面(11-18)与 DGX Spark 开发者套件(11-16),Lambda 则引入光互连提升 AI 工厂弹性(11-16)。代际跳跃幅度如此之大,意味着一年前的算力成本模型已经作废。本文给工程团队一份重算框架与采购/租赁决策清单。

11 小时前👍 1