授权与合规声明本文为技术实践笔记示例均基于公开文档与自建环境中的实验不涉及任何未获授权的系统。文中结论仅代表个人实践小结与所涉厂商无利益关系。转载请注明出处。1. 为什么跑分高不等于用得好选模型时最容易陷进去的误区是看一张排行榜谁分高用谁。但排行榜上的分数衡量的是模型在那套固定测试题上的表现而你真正关心的是模型在你自己的业务场景上的表现。这两件事经常对不上。一个在通用问答榜上领先的模型可能在你的客服话术、你的代码风格、你的专业术语上表现平平一个中等分数的模型因为更贴合你的数据分布实际效果反而更好。所以大模型效果评估不能只信公开 benchmark必须回到自己的场景里建一套可复用的评测。本文讲怎么从零搭这套东西。2. 先造一个可复用的评估集评估的前提是有一份固定不变的评估集一批真实问题每条都标好了标准答案应该长什么样。每条评估样本建议包含三个要素问题从真实日志、真实用户提问里摘不要自己编理想的句子答案要点标准答案必须覆盖哪些关键点不要求逐字一致要求要点齐全应当召回的素材如果走 RAG标出这条问题应该检索到哪些文档块第三点最关键也最常被漏掉。没有它你无法区分是检索没找到还是找到了但模型没用好——两个问题修法完全不同。评估集规模不用大几十条到上百条就够驱动迭代。重点是真实、固定、可重复跑。3. 分层指标检索段和生成段分开看把所有效果混成一个总分是评测里最误导人的做法。至少要把链路拆成两段分别量检索段看召回质量前 K 条结果里是否包含了应召回的素材RecallK以及正确素材排得有多靠前MRR。这一段只在你走 RAG / 知识库时才需要。生成段看答案质量要点覆盖率、事实准确性、是否答非所问。这一段无论是否走 RAG 都要看。两段必须分开报。混在一起你永远不知道瓶颈在检索还是生成——改了半天可能一直在调错的地方。4. 警惕 benchmark 过拟合公开 benchmark 有个隐性陷阱模型训练时可能已经见过这些题。换句话说排行榜衡量的一部分是记忆不是能力。这在工程上对应一个更现实的风险你用一批历史问答做评估集模型上线后遇到的却是新分布的数据评估集悄悄变成了训练集的延伸于是你以为效果稳实际在退化。缓解办法只有一条评估集要持续更新并且包含模型没见过的新样本。定期从线上真实流量里抽样补充而不是一次性造完就不动。评估集怎么标注最高效我把问题 / 应有素材 / 答案要点三列的标注模板和指标计算脚本整理在了一起放在资料包里扫码即可获取5. 业务指标比学术指标更诚实技术团队容易沉迷于 RecallK、准确率这类指标但老板和业务方真正关心的是用户问题有没有被解决、工单有没有减少、转化有没有提升。这两类指标经常会打架。比如你优化后答案更严谨了准确率涨了但用户嫌啰嗦、对话轮次变多、满意度反而降了。这时该听谁的听业务指标。做法上建议给每个上线版本同时记录两层指标一层是技术链路指标召回、准确率用来定位问题一层是业务结果指标解决率、满意度、转化用来判断到底好不好用。两者一起看才不会陷入指标漂亮但没人用的陷阱。6. 评测不是一次性而是回归测试最可惜的评测方式是上线前跑一次之后就再也不跑了。模型会换、提示词会改、知识库会更新任何一处变动都可能悄悄拉低效果。正确做法是把评估集变成回归测试每次改了提示词、换了模型、更新了知识库都自动跑一遍评估集对比上一次的指标。指标掉了马上能定位是哪次改动引入的。这不需要多复杂的平台一个能跑评估脚本、把结果存成历史记录的流程就够了。怎么把评测自动化我把评估集 指标计算 历史对比的最小可运行流程整理成了笔记放在资料包里扫码即可获取7. 一个最小评测落地清单按投入产出比排序建议这样起步从真实流量里抽几十条问题标好答案要点和应召回素材把链路拆成检索段和生成段分别定义指标先跑一次基线记下两个数字每次只改一个变量提示词 / 模型 / 知识库对比指标再决定留不留补一层业务结果指标和技术指标一起看把评估集固化成回归测试每次改动都自动跑做到这一步你就从凭感觉调模型变成了用数据驱动迭代。附表 A本文引用事实与出处对照表事实出处本文位置RecallK 衡量前 K 条是否含正确结果MRR 衡量正确结果排得多靠前信息检索领域共识本文不引用具体文献第 3 章评估样本应标注应召回素材以区分检索失败与生成失败本文工程经验结论无一手出处待验证第 2 章公开 benchmark 可能存在训练数据泄漏衡量含记忆成分评测领域普遍关注的问题本文不引用具体文献第 4 章技术链路指标与业务结果指标需分层看待本文工程经验结论无一手出处待验证第 5、6 章附表 B术语速查表术语含义评估集一批固定问题及标准答案要点用于重复评测RecallK前 K 条结果中包含正确素材的比例MRR平均倒数排名衡量正确结果排得多靠前过拟合 benchmark模型在测试题上表现好但泛化差的现象回归测试每次改动后重跑评估集对比历史指标业务结果指标解决率、满意度、转化等直接反映好不好用的指标写在最后这篇用到的资料写这篇的时候我把团队做模型选型时踩过的评测坑重新梳理了一遍顺手也整理了几份配套的东西评估集标注模板问题 / 应召回素材 / 答案要点 三列直接照着填指标计算脚本RecallK、MRR 与答案要点覆盖率的参考实现评测回归流程笔记把评估接入每次改动的落地步骤资料是我自己整理的放在下面这个码上扫码即可获取资料较多建议先看「全套 AGI 大模型学习路线」再挑一个实战项目跟练。