大模型 Temperature 和 Top-p 是 API 里最常见、也最容易设错的两个采样参数。网上多数文章停在数值越大越随机这一层但这句话既解释不了它们为什么是两个参数也指导不了你该填 0.3 还是 0.7。本文用一组真实算出来的概率把大模型 Temperature 和 Top-p 的作用位置、数学机制、典型误区和调参建议一次讲清。一、先看一组数Temperature 到底改了什么先给结论大模型 Temperature 和 Top-p 都不改变模型想说什么只改变从候选里挑哪个。下面是本文贯穿始终的示例。用户提问帮我推荐一个讲 AI 的技术频道吧模型给五个候选词打了分logits再经过带温度系数的 Softmax 换算成概率候选词logitT0.1T1.0T2.0codigger3.066.5%28.2%24.2%科技2.924.5%25.6%23.0%AI2.89.0%23.1%21.9%自行车2.2≈0%12.7%16.2%海浪2.0≈0%10.4%14.7%横向看这一行行数字大模型 Temperature 的作用已经一目了然它不新增任何词只是把原有的概率分布压尖或摊平。数值全是按公式实算的不是示意图。这也解释了一个常见疑问为什么调低 temperature 之后回答会变短、变模板化分布变尖后模型更倾向选那些安全的高频词与连接词首先总的来说长句和生僻表达被系统性压低于是文本趋同。二、三步流程两个参数各自作用在哪一步大模型是自回归生成的每次只输出一个词再把这个词塞回输入重复几百上千次。单次输出分成三步打分Logits模型给词表里几万个候选词各打一个原始分。转换概率Softmax把分数换算成总和为 100% 的概率分布。加权采样按概率随机抽一个词。大模型 Temperature 作用在第 2 步Top-p 作用在第 3 步。这是两者最本质的区别也是理解它们为何不能互相替代的起点。顺带一提API 里写的是temperature和top_p两个字段取值分别是 0–2 和 0–1。2.1 公式与机制完整的 Softmax 比教科书版多一个温度系数 TT 出现在指数的分母上所以它调节的是分数的相对差距T 越小 → 分数被放大 → 头部词优势被指数级强化 → 分布变尖T 越大 → 分数被压缩 → 所有词趋于平均 → 分布变平回到示例。T0.1 时原本只差 0.1 分的codigger和科技差距被放大十倍经指数放大后变成 66.5% 对 24.5%后三个词加起来不到 10%。而 T2.0 时codigger从 28.2% 退到 24.2%自行车却从 12.7% 涨到 16.2%。注意这个不对称调高温度对头部的伤害远小于它对尾部的提携。这正是大模型 Temperature 调高后更有创造力的数学来源——不是模型变聪明了而是它开始愿意选那些平时没资格上台的词。2.2 为什么这个参数叫温度物理上低温时分子几乎不动结构稳固高温时热运动剧烈一切趋于无序。大模型 Temperature 借用的是同一个直觉低温稳定保守高温发散活跃。T→0 是冰T→∞ 是水蒸气。顺带说清取值范围OpenAI 接口接受 0–2Anthropic 通常接受 0–1Gemini 部分模型到 2DeepSeek、通义等国产模型多为 0–2。超范围一般直接报错而不是自动截断。三、Top-p 核采样为什么光有 Temperature 不够大模型 Temperature 有一个结构性缺陷它只有一条曲线作用于全词表。你没法只让合理词变多、同时让离谱词变少两者共享同一条分布。具体后果是高温下自行车这种与问题毫无关系的词也能拿到十几个百分点采样次数够多总会抽中一次。用户在对话里遇到的这 AI 在胡说相当一部分来自这里。Top-p核采样Nucleus Sampling解决的正是这个问题它不碰概率值直接砍候选池。规则是按概率从高到低累加累加到刚好达到阈值 p门就关上剩下的词全部丢弃。用上表 T1.0 那一列算累计值排名候选词概率累计概率1codigger28.2%28.2%2科技25.6%53.8%3AI23.1%76.9%4自行车12.7%89.6%已达 0.95海浪10.4%100%p0.9 时前四个词刚好凑够 89.6%第五个被丢弃留下的四个再按比例放回 100%进入采样。若把 p 压到 0.5只剩codigger和科技连AI都不会被考虑。3.1 Top-p 和 Top-k 的区别对比项Top-kTop-p核采样筛选依据固定数量永远取前 K 个累计概率达到 p 即截断候选池大小固定随分布形状动态变化分布很尖时仍保留 K 个混入低概率词可能只保留 1–2 个分布很平时候选不足反而限制多样性自动放宽到几十个候选池随分布自动伸缩这正是 Top-p 取代 Top-k 成为默认方案的原因。另补充一点OpenAI、Anthropic 等主流 API 已不再对外暴露 top_k只保留temperature与top_p本地部署的推理框架vLLM、llama.cpp通常三者都支持可以自由组合。四、两者的本质区别与五个常见误区参数作用位置改动对象调低调高典型误用TemperatureSoftmax 内部概率差距陡峭度赢家通吃输出近乎固定头部优势缩小长尾上桌只调温度却抱怨跑题Top-pSoftmax 之后、采样之前候选池边界只留头部稳但可能死板门槛放宽噪声也进来以为0.2 就是取 20% 的词误区一以为两个参数越调高越像。都调高更随机、都调低更稳定只在结果层成立机制上完全不同。大模型 Temperature 调高会让一个 5% 的垃圾词涨到 15%Top-p 调高只是把门开得更大不会主动提升任何词的原始概率。温度只放大差距不制造差距——差距在打分阶段就写好了。误区二以为 T0 是直接代入公式。数学上 T0 会除零实际是取极限T→0分布退化为 one-hot。工程实现通常把它当特例开关走贪心解码greedy decoding不进入随机采样部分框架并不真的落到greedy_search而是把概率压成近似 one-hot 来实现效果接近但不严格等价。误区三以为两个参数值可以跨模型照抄。T 作用在 logits 上各家模型的 logits 尺度本就不同——一个模型分数常落在 0–5另一个可能落在 -20–20。同样的 T0.7得到的分布尖锐度完全不一样。参数只在你自己调用的那条链路上做对比实验才有意义。误区四以为 temperature 设置越小越好。温度趋零会让解码退化成每次取 argmax同一提示词永远同一答案。这在单元测试、JSON 生成等场景是优点但在需要候选多样性的场景等于白白浪费了采样更麻烦的是若模型对该问题本就把握不足压尖分布只是让它更自信地重复错误。误区五以为调参能解决质量问题。这两个参数控制的是输出熵不是输出正确性。温度低模型稳定输出最可能的答案——而它没有相关知识时最可能的答案往往是一段流畅自信的胡说。确定性不等于可靠随机性也不等于创造性。五、推荐配置什么场景填什么值5.1 按场景取值场景TemperatureTop-p说明代码生成、数学推理0.0–0.20.2–0.5要确定性减少上下文漂移数据抽取、翻译、摘要0.2–0.40.4–0.7结构稳定允许小幅变通日常问答、邮件、周报0.70.9通用起点最稳妥头脑风暴、起名0.9–1.20.9–0.95要多样性可叠加多轮生成小说、剧本、文案1.0–1.50.9–0.95温度负责敢说p 负责别离谱5.2 四条实践原则优先只动 Temperature。OpenAI 官方建议二者调其一即可。temperature0.7配top_p0.7常常是最糟组合——高温撑起的多样性又被低 p 削回去只剩不连贯。基线设 T0.7、p0.9。输出太飘就降 T太僵就升 T只有在降 T 之后仍严重跑题才去动 p。参数写进配置中心。别散落在代码里否则同一个产品会出现三种温度T 和 p 也要写进实验记录否则 A 组 0.3、B 组 1.0分数差异里相当一部分只是运气。先修提示词再调参数。把这两个参数当灵感按钮往往会让本该定位在检索质量或上下文长度上的问题被误判成模型不够聪明——这类误判的代价通常是换模型、换供应商。六、总结回到开头那张表28.2% 与 10.4% 的差距说到底是模型不做思考只在几万个概率里反复掷骰子。大模型 Temperature决定骰子的偏心程度——通过缩放 logits 改变概率分布陡峭度Top-p决定骰子有几个面——通过累计概率截断候选池。理解了这个分工你就能判断什么时候该调哪个要稳定降 T要多样升 T要防跑题动 p跨模型别照抄。