客服助手没有按照格式回答可以改提示不知道最新政策可以提供资料大量任务中始终采用不合适的表达方式可能需要考虑训练调整。它们都能改变输出却改变了系统的不同部分。如果没有区分这些差异常见结果是用很长的提示弥补缺少的数据用反复训练追逐每天变化的事实或者搭建复杂检索之后才发现问题其实出在任务定义。判断应该改哪里可以从一次回答形成之前哪些信息和行为已经确定开始。文章目录提示改变当前任务的输入检索改变当前可用的外部证据微调改变模型参数中的行为倾向三者可以配合效果需要拆开判断先定位缺失再选择改动提示改变当前任务的输入模型开始生成时会看到当前请求提供的指令、问题、资料和示例。这些内容共同构成上下文。调整提示就是在不改变模型参数的情况下改变它这一次收到的信息和任务要求。假设要把客户留言整理成工单。“整理一下”没有说明字段、缺失信息的处理方式也没有说明能否推断。改成“提取产品型号、故障现象和购买时间原文没有的信息留空”就明确了任务边界。补充示例还可以展示抽象规则难以表达的区别。例如客户说“上个月买的”系统可以保留原话却不应在缺少当前日期时擅自转换成具体日期。示例的价值是呈现判断关系不能只展示一种固定措辞否则模型可能学会表面模板。提示可以利用模型已有能力使它在当前任务中采用某种格式或处理方式。但如果输入没有最新保修期限一句“务必准确”并没有补上这条事实。提示中的要求与支持要求的信息需要分别检查。上下文还有长度和组织成本。每次都附上大量不相关规则会增加处理内容也可能让真正重要的要求难以被稳定使用。因此提示不是越长越可靠而应包含当前任务需要且不相互冲突的信息。检索改变当前可用的外部证据当所需资料无法全部直接放入请求时可以先从外部集合中寻找相关内容再提供给模型。这样的检索增强方式使事实资料的维护与模型训练分开。政策更新后系统可以更新文档和索引让后续查询取得新版本。模型不必为了这一项政策重新训练。但资料更新能否及时反映在答案中仍取决于解析、索引更新、版本筛选与实际检索结果。检索适合按问题获取证据不天然解决全部资料任务。需要统计所有投诉类别时只拿最相关的几条投诉可能漏掉大量记录需要回答某一产品的维修条件时按对象筛选适用条款则很有价值。另一个边界是行为能力。模型收到正确条款后仍把条件理解错说明资料进入输入只是必要的一步。需要检查任务要求、表达方式、模型能力或判断流程不能把所有错误都归结为“再多找一些资料”。检索本身也引入了新的可变部分。相同问题在资料变化后可能收到不同证据因此评价时要保留适用版本和实际输入否则无法判断新答案的变化来自哪里。微调改变模型参数中的行为倾向微调是在已有模型基础上利用一批训练样本继续调整参数。它会影响模型之后处理同类输入的倾向而不只是改变某一次请求中的材料。如果大量工单需要稳定遵循某种分类体系、输出约定或专业表达方式经过验证的训练样本可能帮助模型适应这类任务。但样本必须体现正确判断不能只有格式漂亮的最终答案更不能把未经核对的模型输出直接当成可靠标准。例如训练集中“没有购买时间”的留言都被随意补成最近日期模型可能更稳定地重复这个错误。数据规模变大不会自动纠正标签规则反而可能让不合适的行为更难察觉。微调可以使模型学到或记住新的事实但不能因此把参数当作能够逐条更新、精确查询并返回出处的数据库。某个客户昨天修改地址后业务系统可以准确更新对应记录通过训练修改这一事实则难以提供同样明确的更新、删除和追踪边界。微调还需要考虑训练与评估成本、供应方支持、数据适用权利和回退方式。它应当回答一个已被观测到的任务问题而不应只是因为“有数据”就成为默认步骤。三者可以配合效果需要拆开判断一个系统可以同时使用三种方法经过训练的模型遵循工单字段规范提示明确这次要处理哪个请求检索提供当前产品政策。它们并不互相排斥关键是各自承担的作用能够解释。如果一次更换了模型、训练数据、提示和检索方式结果变好也很难知道收益来自哪一处。实际改进可以先固定评价样本和判断标准再按已定位的问题调整必要部分。对于同一组留言至少需要检查型号提取、缺失字段处理、分类正确性以及原先正常的情况是否退化。对于政策问答还要检查证据版本与适用范围。单独看到输出格式更整齐不能说明事实正确性随之提高。成本也需要对应实际任务。长提示可能增加每次调用的输入负担检索需要维护资料处理和查询微调需要准备训练数据并维护模型版本。哪个更合适取决于任务频率、错误来源、资料变化速度和需要达到的稳定程度没有统一的最便宜路线。先定位缺失再选择改动当助手答错时先确认它有没有获得正确资料。没有资料需要补输入、接入查询或改善检索资料齐全但任务边界含糊需要明确指令与示例要求清楚仍持续出现同类能力问题再评估是否需要更合适的模型或训练适配。这种判断并不保证每个问题都能迅速解决但可以避免在错误层面反复投入。提示控制当前任务检索提供外部证据微调调整参数中的行为倾向。把三者的作用和限制分清才能在组合使用时知道每一部分为什么存在。参考资料Anthropic上下文组织 · 检索增强生成 · Andrej Karpathy语言模型的训练与使用。本文讨论方法所改变的部分不给出脱离任务条件的模型或服务推荐。AI 工程知识库