授权与合规声明本文全部操作对象均为自建隔离环境与已获授权的目标涉及安全测试或以他人系统为对象的环节必须以取得合法授权为前提。未经授权的测试违反《中华人民共和国网络安全法》与《刑法》相关条款须承担相应法律责任。本文只讲技术工程实践不含任何攻击步骤、利用载荷与绕过手法请勿将文中任何内容用于非自有、未获授权的系统。第1章 自有数据标注的痛点很多团队手里有数据却卡在没人标、标不动上。无论是训练集构造、内容分级还是检索语料清洗最终都要落到一条条样本被打上标签这件事上。一旦数据量上来人工标注的问题就集中爆发了。1.1 人工贵且慢请人标、自己标、实习生标本质上都是用时间换标签。样本规模到几万条之后标一遍的周期往往按周算返工还要再走一轮。更麻烦的是业务一旦调整标签体系历史数据需要重标成本会二次发生。1.2 标注标准不一致同一个样本交给两个人常常得到不同结论。不是谁对谁错而是判断边界没有写清楚。比如一条评论算不算负面取决于对程度的把握。这种漂移在跨人、跨天、跨批次时尤其明显结果就是标注一致性inter-annotator agreement往下掉下游模型学到的信号也跟着变糊。核心判断标注的价值不在快标完而在标得稳、可复标。降本是结果不是把活全丢给模型。第2章 LLM 标注适合哪些任务LLM 不是万能标工它擅长有清晰定义、能写成指令的任务不擅长需要强领域事实、或边界天然模糊的任务。先想清楚任务类型再决定要不要上模型。2.1 文本分类 / 打标签给一段文本判类别、贴主题标签、做情感极性判断是 LLM 最稳的场景。只要标签体系固定、定义清楚模型输出的一致性通常能到可用水位。2.2 实体抽取从合同、工单、简历里抽出人名、机构、时间、金额等实体LLM 配合结构化输出JSON / 函数调用效果不错。难点在嵌套实体和长尾类型需要规则补一层。2.3 摘要 / 改写把长文档压成要点、把口语转成规范表述这类生成式标注人工成本最高LLM 替得最值。但要注意生成内容可能引入幻觉必须留人工核对环节。2.4 质检找错标/漏标拿一份已标注数据让模型当 reviewer 复查这条标得对不对、有没有漏标。质检是 LLM 性价比最高的用法之一因为它只做判断、不做全量生产。下面这张表给出任务到适合度的快速对照任务类型LLM 适合度说明文本分类高标签固定时一致性好实体抽取中高需结构化输出 规则补摘要改写中易幻觉需人工核对错标漏标质检高只判断不生产性价比好强事实核查低模型易编需权威源兜底第3章 流水线怎么搭标得动的关键是搭一条可重复的流水线而不是每次都临时写 prompt。3.1 采样与分桶别一上来全量跑。先按业务重要性、难度、类别分布做分层采样核心类别多采、长尾类别补采。把数据分桶后先在小桶上验证再放大。这样既能控成本也能早暴露标准问题。3.2 prompt 模板化把标注指令、标签定义、输出格式全部模板化变量只留待标样本。模板固定后换模型、换批次都只用同一份标准才不会漂移。task:文本分类definition:依据下方标签体系判断样本类别labels:[正面,中性,负面]output_format:jsonrules:-只输出一个类别-不确定时标中性并给 reasonsample:{待标样本}3.3 模型产出 → 规则校验 → 人工抽检模型不是终点。它的输出先过一道规则校验格式、值域、必填项再按比例送人工抽检。只有抽检通过的批次才允许落库进入训练集。阶段输入动作产出采样分桶原始数据分层抽取待标样本集模型标注样本 prompt调用 LLM原始标签规则校验原始标签格式 / 值域检查通过 / 打回人工抽检通过样本按比例复核置信结论落库抽检通过写入数据集可用训练数据第4章 一致性怎么保工降本的前提是标得准。一致性靠三件事兜住。4.1 小样本 few-shot 锚定标准在 prompt 里放 5 到 10 条带标准答案的示例比写一大段描述更管用。示例就是标准本身模型照着学边界。示例要覆盖典型难例和边界 case。示例1 样本这服务太慢了再也不来了 标签负面 理由明确表达不满与拒绝 示例2 样本还行吧没什么特别 标签中性 理由无强烈倾向4.2 多模型投票 / 规则兜底对关键样本可以让两个模型独立标结果不一致就交给人工。规则层再做兜底比如某些关键词命中直接定类。投票不追求多数服从而是用不一致即送审来抓不确定。4.3 不一致样本回流人工凡模型间分歧、或规则判不了的统一回流到人工队列。人工结论再沉淀为新 few-shot 示例标准就在这一步被不断加固。第5章 成本与质量权衡LLM 标注不是越用越多就好核心是抽检比例的取舍。5.1 抽检比例的取舍抽检比例升高成本升、质量稳比例压低省钱但风险累积。下面比例是示例需按业务标定高风险场景应上调场景示例抽检比例说明内部低优数据示例值需按业务标定可接受较低抽检训练集主数据示例值需按业务标定建议中高抽检风控 / 合规数据示例值需按业务标定建议高抽检或全检比例数字均为示例需按业务标定本文不编造具体金额与确定值。5.2 批量调用代码下面给出最小可用骨架读样本、调模型、规则打分、送人工 reviewer 落库。代码待验证变量用 sample / label / score / reviewer。importjsondefannotate(sample,prompt_template):# 组装 prompt调用模型拿回原始标签rawcall_llm(prompt_template.format(samplesample))label,scoreparse_output(raw)returnlabel,scoredefvalidate(label):# 规则校验值域与必填检查返回是否通过allowed{正面,中性,负面}returnlabelinalloweddefrun(samples,prompt_template,reviewer):results[]forsampleinsamples:label,scoreannotate(sample,prompt_template)ifnotvalidate(label):reviewer.review(sample,label)# 打回人工continueifscorereviewer.threshold:reviewer.review(sample,label)# 低置信送审continueresults.append({sample:sample,label:label,score:score})save_to_db(results)# 抽检通过后落库returnresults标注 prompt 模板库把第3、4章的 prompt 与校验规则整理成可复用模板。放在资料包里扫码即可获取第6章 质检闭环标完再用标注不是一次性的标出来的数据要反哺下一次生产。6.1 用标注结果训练/微调小模型LLM 标出的数据清洗后可以作为小模型的训练集。分类、实体这类任务小模型推理成本远低于大模型适合固定场景的常态化标注。6.2 用模型反查人工标错的样本把模型标的结果和人工标的结果做 diff分歧处往往藏着人工标错或标准不清。定期跑这个闭环能持续揪出历史错标让数据集越用越干净。第7章 三个坑7.1 标注标准漂移prompt 改一个词标准可能就变了历史数据和新数据不再可比。解法是对 prompt 做版本化每次变更记录 diff重标时锁定对应版本。7.2 模型偷懒输出长文本时模型可能省略、合并、输出不规范。要用强约束的输出格式JSON schema / 固定字段把结构钉死并在规则层拒绝不合格式的样本。7.3 成本失控一激动全量都走大模型账单先炸。正确节奏是先小批量验证一致性和抽检结论确认水位后再放量并优先把稳定部分迁移到小模型。标注-质检流水线架构图把第3章的 pipeline 整理成一张总览。放在资料包里扫码即可获取附表 A本文引用事实与出处对照表事实出处本文位置LLM 可用于分类、实体、摘要、质检等半自动标注通用工程共识第2章标注一致性需靠 few-shot 与人工抽检兜底通用工程共识第4章抽检比例影响成本与质量需按业务标定通用工程共识比例示例非确定值第5章截至 2026-10-25LLM 标注为业界常见数据工程实践通用工程共识全文模型输出可能产生幻觉需人工核对通用工程共识第2、4章附表 B术语速查表术语含义few-shot在 prompt 中放少量带答案示例来锚定标准抽检从模型产出中按比例抽取送人工复核规则校验用格式 / 值域等硬规则过滤模型输出一致性不同标注者对同一样本结论的稳定程度回流将不确定样本送回人工队列并沉淀为示例落库抽检通过后写入可用数据集写在最后这篇用到的资料写这篇文章时整理了一套 LLM 数据工程的方法顺手也整理了几份配套的东西大模型学习路线从基础到落地的整套路径图Claude Skills 全指南知识库搭建与技能编排实战LangGraphMCP 智能体实战视频从 0 到 1 跑通一个智能体资料是我自己整理的放在下面这个码上扫码即可获取资料较多建议先看「全套 AGI 大模型学习路线」再挑一个实战项目跟练。