RAG 分层评测执行指南

RAG 分层评测执行指南核心本质不是拆环节是拆变量分层评测的核心不是「把技术链路拆成多个环节分别打分」而是通过控制单一变量让每个指标只对应当前环节的能力彻底排除其他环节的干扰实现精准根因定位。典型反例用实时检索结果测生成忠实度最终分数同时受检索质量和生成能力影响波动了不知道是谁的问题等于白测。一、前置必备基础1. 全节点 Span 埋点数据前提必须按规范做分节点独立埋点至少覆盖两个核心节点数据可单独提取hybrid_retriever检索节点输入查询输出召回片段列表answer_generation生成节点输入固定上下文查询输出生成回答工具底座Langfuse 统一存储所有 Trace绑定版本三元组知识库版本Prompt版本模型版本支持历史回溯与横向对比。2. 统一测试样本集固定一批测试查询50~200 条覆盖不同问题类型、难度、边界模糊场景全程使用同一批样本做分层对比避免样本差异导致的分数波动校准集与正式测试集必须完全分开禁止重合避免过拟合3. 裁判模型预校准用 50~100 条边界样本做双盲人工标注输出金标准计算加权 Cohen’s Kappa 系数≥ 0.75 为校准通过再批量评测固定裁判模型版本、参数temperature0.1关闭随机采样保证结果可复现二、核心原则单一变量控制法评测哪一层就固定其他所有环节的输入与输出唯一变量是当前评测的环节。这是分层评测的灵魂做不到这一点所有分层打分都没有归因价值。评测层级固定不变的量唯一变量分数波动归因检索层生成模型、系统 Prompt、评测逻辑检索策略、分块大小、Embedding、重排序、top_k检索质量变化生成层召回上下文、查询、评测逻辑生成模型、系统 Prompt、生成参数、事实约束生成质量变化端到端层无全链路真实运行全链路整体协同综合效果变化三、第一层检索层评测评测目标量化检索系统的召回完整性、排序质量、噪音水平完全排除生成模型的干扰单独衡量检索环节的能力。控制变量固定后续生成环节全部不参与只评估召回结果本身唯一变量检索策略、分块大小、Embedding 模型、重排序算法、top_k 数量输入数据仅需要测试查询列表 检索系统返回的召回片段列表可从 Langfusehybrid_retriever节点直接提取历史数据也可实时跑检索输出核心指标与计算指标是否需人工标注计算逻辑业务解读上下文精确率Context Precision❌ 零标注判定每条召回片段是否与查询相关按召回位置加权越靠前的片段权重越高衡量检索噪音与排序质量数值越低无关片段越多、排序越差上下文召回率Context Recall✅ 需标注/伪标注计算召回片段覆盖「回答问题所需关键信息点」的比例衡量漏检率是回答质量的上限——召回率低生成模型再强也答不对TopN 命中率❌ 零标注关键信息出现在 Top1/Top3/Top5 的比例衡量排序优先级关键信息越靠前越容易被生成模型利用冷启动技巧没有人工标注时可用能力更强的模型基于完整知识库生成伪标准答案计算召回率只能用于相对版本对比不能做绝对质量判定且同一对比批次必须用同一个伪标注模型。执行步骤用同一批测试查询跑待评测的检索策略输出统一格式的召回片段列表调用评测引擎RAGAS / DeepEval计算精确率、召回率等指标输出整体得分 单样本详情 低分案例列表优化验证方法每次只改一个检索参数控制变量对比指标变化精确率低 → 调小 top_k、优化重排序、增加去重策略、过滤低相关片段召回率低 → 优化分块策略、增加多路检索关键词向量、优化查询改写Top 命中差 → 优化重排序模型、调整片段权重、优化片段粒度四、第二层生成层评测评测目标量化生成模型基于上下文的忠实性、相关性完全排除检索质量的干扰单独衡量生成环节的能力。铁则必须固定召回上下文绝对禁止用实时检索结果测生成层。必须使用固定不变的召回上下文作为输入确保唯一变量是生成模型 / Prompt否则分数波动无法归因。控制变量固定输入的召回上下文、用户查询、评测逻辑唯一变量生成模型、系统 Prompt、生成参数、事实约束规则输入数据仅需要固定的召回上下文列表 测试查询 生成的回答可从 Langfuseanswer_generation节点提取输入上下文和输出回答核心指标与计算指标是否需人工标注计算逻辑业务解读生成忠实度Faithfulness❌ 零标注原子声明拆解法将回答拆为独立事实点逐一校验是否能从上下文推理得出得分 有支撑的声明数 / 总声明数核心红线指标幻觉率 1 - 忠实度回答相关性Answer Relevancy❌ 零标注语义匹配意图匹配双重校验判断回答是否回应用户核心诉求衡量是否答非所问、跑题、信息遗漏幻觉专项检测❌ 零标注针对数字错误、偷换概念、过度引申等典型幻觉模式深度检测高风险场景强化校验比通用忠实度更聚焦幻觉执行步骤准备好固定的召回上下文集和检索层评测用同一批保证链路对齐用待评测的生成配置模型Prompt基于固定上下文生成回答调用评测引擎计算忠实度、相关性等指标输出整体得分 单样本详情 幻觉/跑题案例优化验证方法每次只改一个生成参数控制变量对比指标变化忠实度低 → 强化 Prompt 中的事实约束指令、明确禁止编造、增加「无法回答则回复未知」规则、更换生成模型相关性低 → 优化查询改写、明确回答范围、强化意图对齐指令五、第三层端到端层评测评测定位最终结果验收不是问题定位工具。从用户视角衡量全链路的整体效果不用于定位根因——定位根因靠上面两层。输入数据完整的用户查询 最终返回的回答 人工标准答案如有核心指标答案正确性Answer Correctness需要人工标注综合判断事实准确性、信息完整性、逻辑合理性是最终交付验收指标综合质量分加权计算检索质量 30% 生成质量 50% 信息完整性 20%用于整体趋势监控、版本对比性能成本指标全链路延迟P50/P90/P99、Token 消耗、单请求成本平衡质量与成本注意原则端到端分数低不要直接优化端到端先回溯检索层和生成层的指标定位具体瓶颈层再针对性优化。六、分层组合根因定位通过检索层生成层的指标组合自动匹配问题根因给出优化优先级这是分层评测的核心价值。检索精确率生成忠实度自动根因标签优化优先级核心优化方向 0.7低≥ 0.85高检索瓶颈P0优化分块、Embedding、混合检索、重排序降低噪音提升召回≥ 0.85高 0.7低生成瓶颈P0优化系统 Prompt、增加事实约束、更换生成模型降低幻觉 0.7 0.7全链路双瓶颈P0先优化检索底座再优化生成效果≥ 0.85≥ 0.85基础质量良好P1优化端到端体验、长上下文、多轮能力七、完整执行流程可直接落地第一步准备工作明确评测目标技术选型 / 版本回归 / 上线验收准备固定测试查询集50~200 条覆盖各场景与边界案例确认埋点数据可按节点独立提取完成裁判模型校准Kappa ≥ 0.75第二步检索层独立评测用同一批查询跑检索输出召回片段计算检索层各指标不达标则优化检索策略迭代验证第三步生成层独立评测固定第二步得到的召回片段作为输入用待评测的生成配置生成回答计算生成层各指标不达标则优化生成配置迭代验证第四步端到端验证全链路真实运行输出最终回答计算端到端正确性、性能成本指标结合分层指标做整体验收第五步输出结论各层级指标得分瓶颈定位与优化建议版本对比结论如有八、常见避坑❌变量不唯一测生成层用实时检索上下文变来变去分数波动不知道谁的问题❌只测端到端不分层出问题只能瞎猜优化全靠试错效率极低❌不同层用不同样本检索用一批 query生成用另一批结果无法对齐没有归因价值❌不校准就评测裁判模型系统性偏差导致评分方向完全错误❌拿不同版本的分层指标对比比如检索 v1 版本和生成 v2 版本放一起分析完全没有意义❌只看总分不看低分项平均分掩盖了边界案例的严重问题尤其是高风险场景九、工具链对应数据底座Langfuse 全节点 Span 埋点按节点提取数据绑定版本检索层评测RAGASContextPrecision/ContextRecall或 DeepEval 对应指标生成层评测RAGASFaithfulness/AnswerRelevancy或 DeepEval 对应指标校准管理Langfuse Dataset 管理校准集计算 Kappa 系数自动化执行嵌入 CI/CD变更触发对应层级评测不达标拦截