如果把大模型的崛起只概括为“模型越来越大”会漏掉最有意思的部分。参数规模当然重要但光有规模模型只会更熟练地续写文本未必听得懂指令也未必能处理一项真实任务。今天看到的对话、写作、编程和工具调用能力背后其实有几条不同的技术线预训练提供了通用知识底座Transformer 让大规模训练变得可行规模化提高了能力上限指令对齐改善了交互方式RAG 和工具调用则把模型接进了真实系统。这些技术并非在同一年突然出现也不是某一篇论文单独完成了全部工作。它们陆续跨过工程阈值最后叠加成了我们所熟悉的“大模型时代”。一切都从一个简单的训练目标开始语言模型最基础的任务是估计一段文本出现的概率。对自回归模型来说可以把整段文本拆成一连串条件概率P ( x 1 , x 2 , … , x T ) ∏ t 1 T P ( x t ∣ x t ) P(x_1,x_2,\ldots,x_T)\prod_{t1}^{T}P(x_t\mid x_{t})P(x1​,x2​,…,xT​)t1∏T​P(xt​∣xt​)训练时模型看到前面的 token预测下一个 token再根据预测结果与真实 token 之间的差距更新参数。这个目标看起来甚至有些朴素不需要人工给每句话标注“主旨”“情感”或“推理步骤”普通文本本身就提供了训练信号。也正因为标签可以从数据中自动获得书籍、网页、代码和其他文本才能成为训练材料。模型为了降低预测误差会逐渐学到语法、事实关联、文体模式以及一部分对完成任务有用的内部表示。不过“会续写”与“会办事”之间始终有距离。用户输入“把这段话改成三句话”一个只做过预训练的模型可能继续编造更多类似指令也可能写出一份新的改写任务而不是直接给出答案。它学到的是文本如何延续并没有天然学会人类希望它怎样回应。这个差距后来要靠指令微调和偏好对齐来补。Transformer 改变了训练的算账方式早期序列模型通常按时间步依次处理文本。第t tt个位置的计算依赖第t − 1 t-1t−1个位置的隐藏状态这种结构符合语言顺序却不利于把整段文本摊开到大量计算单元上并行训练。长距离信息也要经过多步传递训练越长、越深优化就越麻烦。2017 年的 《Attention Is All You Need》 给出了另一条路线用注意力机制建立 token 之间的直接联系不再依赖循环结构传递序列状态。缩放点积注意力可以写成Attention ⁡ ( Q , K , V ) softmax ⁡ ⁣ ( Q K ⊤ d k ) V \operatorname{Attention}(Q,K,V)\operatorname{softmax}\!\left(\frac{QK^\top}{\sqrt{d_k}}\right)VAttention(Q,K,V)softmax(dk​​QK⊤​)V其中Q QQ用来表达“当前在找什么”K KK用来表达“我能被怎样匹配”V VV则携带真正要参与混合的信息。Query 与所有 Key 计算相似度再对 Value 加权求和。这样一来一句话里相隔很远的两个词也可以在同一层直接发生信息交换。更关键的是整段序列的注意力分数可以通过矩阵运算一起算。计算并没有因此变得便宜——标准自注意力的开销会随序列长度近似平方增长——但它更适合 GPU、TPU 等并行硬件也更适合继续扩大模型和训练批量。图 1Transformer 原始结构包含左侧编码器与右侧解码器。今天常见的生成式语言模型通常采用 decoder-only 变体但注意力、前馈网络、残差连接等基本构件延续了下来。图源论文中文译注。多头注意力让模型可以在不同子空间里学习不同关系前馈网络对每个位置做非线性变换残差连接和归一化帮助深层网络稳定训练位置编码则把顺序信息补回来。单看每个零件都不算神秘真正重要的是它们组成了一套容易堆叠、容易并行、也容易被后续工程体系复用的架构。Transformer 最初为机器翻译提出后来却变成了语言、视觉、语音和多模态模型的通用骨架之一。大模型能够规模化架构与硬件在这里完成了一次关键配合。规模化带来的不只是“更大的模型”有了适合并行的架构下一个问题自然出现增加参数、数据和算力模型会变好多少《Scaling Laws for Neural Language Models》 发现语言模型的交叉熵损失与模型规模、数据规模、训练算力之间在很大范围内存在较平滑的幂律关系。这件事的工程价值很大。研究者不必完全依赖“训完再看”而可以用较小规模的实验估计趋势再决定下一轮训练预算该投向哪里。图 2语言模型损失随算力、数据集规模和参数量变化的曲线。平滑的是特定条件下的损失趋势不应直接理解成所有下游能力都会按同一条曲线增长。图源Scaling Laws 论文解读。规模规律让能力建设多了一点可预测性但也很容易被误读成“只要堆参数就行”。至少有三件事需要补充。第一训练损失变低不等于每项任务都稳定变好。某些能力可能在某个规模区间才表现得明显评测噪声、提示方式和数据污染也会影响观察结果。第二参数与数据需要一起考虑。2022 年的 Chinchilla 研究 指出在其计算最优训练设置下模型规模和训练 token 数应当同步扩展许多此前的大模型在参数量增长的同时训练数据并没有跟上。换句话说一个“很大但没吃饱”的模型未必比规模更合理、训练更充分的模型划算。第三数据不是可以无限复制粘贴的燃料。重复、低质量、互相矛盾或来源不明的数据都会影响训练效果。清洗、去重、配比、版权与隐私处理逐渐从后台琐事变成了模型能力的一部分。所以规模化的真正含义更接近一场联合优化架构、参数、token、算力、数据质量和训练稳定性任何一项明显落后都可能吞掉其他投入带来的收益。指令对齐让模型开始“照着要求做”预训练模型拥有强大的续写能力却不会天然把用户当作需要协助的人。指令微调率先补上这一层用“指令—理想回答”的样本做监督训练让模型学习识别任务意图、遵循格式要求并在信息不足时给出更合适的回应。随后人类偏好被引入训练流程。以 InstructGPT 的经典流程为例可以粗略分成三步监督微调SFT人工编写示范回答先得到一个会按指令回应的模型。训练奖励模型RM针对同一个提示采样多个回答由标注者排序训练模型预测哪种回答更符合人类偏好。强化学习优化用奖励模型给新回答打分再通过 PPO 等算法更新语言模型同时约束它不要偏离原模型太远。图 3InstructGPT 的三阶段训练流程。奖励模型学习的是标注数据所体现的偏好并不是一个天然正确的“事实裁判”。图源论文中文译注。这一步改变的是模型的行为分布。原论文报告在其提示分布的人工评估中13 亿参数的 InstructGPT 输出比 1750 亿参数的 GPT-3 更受偏好。这个结果很能说明问题模型更大可以抬高能力底座但“是否好用”还取决于后训练和交互目标。2022 年底ChatGPT 以对话形式开放研究预览。对话界面看似只是把输入框换了个样子实际却大幅降低了使用门槛。用户不必先理解语言模型、提示模板和 API只要像发消息一样描述需求就能直接感受到模型能力。大模型由此从研究人员和开发者手中的技术组件变成了大众可以日常使用的产品。当然偏好对齐并不保证真实。人们可能偏好表达流畅、结构完整、语气自信的回答而这些特点与事实正确并不总是一致。奖励模型学到的是偏好的近似语言模型优化的也是这个近似目标。幻觉不会因为多了几轮对齐就自动消失。RAG 和工具调用把模型接进真实世界模型参数里保存着训练过程中形成的知识和模式但把它当作一个随时可更新、每条事实都可靠的数据库很快就会遇到问题新知识怎么进入企业内部文档怎么查询答案的依据在哪里涉及账户、订单和支付的操作又由谁执行一类常见方案是检索增强生成也就是 RAG。原始 RAG 论文 将参数化记忆与外部的非参数化记忆结合起来放到今天的应用架构里通常会经过文档切分、索引、检索、重排、上下文组装和生成几个环节。图 4一种简化的 RAG 流程。先从外部知识源检索相关内容再把检索结果与用户问题一起交给生成模型。图源RAG 架构介绍。RAG 的价值很实际知识更新可以发生在索引侧回答可以附上来源权限控制也能在检索阶段实施。但它同样不是“接上向量数据库就万事大吉”。文档切得太碎会丢上下文切得太大又会稀释相关度检索漏掉关键材料生成模型再强也无从回答把相似但不适用的段落塞进提示词还可能制造一种“有引用支撑”的错觉。工具调用解决的是另一类问题。模型可以生成结构化的函数调用请求由外部程序执行搜索、计算、数据库查询或业务操作再把结果返回给模型。一个可靠的系统通常会把职责分清楚用户目标 ↓ 模型理解意图、规划步骤、生成调用参数 ↓ 运行时校验权限与参数执行真实操作 ↓ 工具结果网页、计算值、数据库记录或执行状态 ↓ 模型根据结果继续处理或整理最终回答这里最重要的边界是模型可以提议操作权威状态仍应由确定性系统维护。库存是否足够、转账是否成功、文件是否真的写入都不能只凭模型一句“已完成”来认定。到了这一步大模型应用已经不只是训练一个网络。检索、权限、状态、错误处理、日志和评估共同决定了系统是否可用。模型是核心组件却不是整个系统。成本决定了能力能走多远训练出好模型只是第一张账单。用户真正使用时每一次请求还会产生推理成本。自回归生成一般分为处理输入的 prefill 阶段和逐 token 输出的 decode 阶段。前者更像大规模并行矩阵计算后者则要反复读取模型权重和 KV Cache输入很长、输出很长、并发很高时瓶颈并不相同。这也解释了为什么推理优化会出现这么多路线量化减少权重和激活的存储开销蒸馏把部分能力迁移到小模型连续批处理提高设备利用率缓存和推测解码则尝试减少重复计算或串行等待。因此实际产品很少只问“哪个模型分数最高”还会同时问这个任务真的需要最大的模型吗首 token 延迟和整体吞吐能否接受长上下文带来的收益是否抵得过成本小模型加检索或工具能否完成同样的工作失败时能否发现、重试、降级或转交人工大模型的普及一方面来自能力上限的提高另一方面也来自单位任务成本不断下降。后者不显眼却决定了很多应用能否从演示变成日常服务。崛起之后老问题换了一种样子回来大模型没有绕开计算系统的基本矛盾只是把它们带到了新的位置。事实性仍然需要外部约束。流畅生成与真实可靠是不同目标高风险场景需要检索依据、工具验证、规则检查和人工复核。评估不能只看几个榜单。一个客服系统更应该关心自己的工单完成率、错误升级率和越权操作而不是模型在通用考试题上的总分。真实任务集、对抗样本和线上回归往往比一次演示更有价值。上下文不等于可信边界。网页、文档和工具返回的内容都可能包含恶意指令。把检索结果直接拼进提示词而不做来源隔离和权限控制会让提示注入从文本问题变成系统安全问题。数据治理没有消失。训练数据、用户日志、企业文档和反馈数据各有不同的授权范围。模型接入得越深越需要明确哪些内容可以进入上下文、哪些可以被记录、哪些允许用于后续训练。这些问题并不表示大模型被高估了。恰恰相反只有技术真正进入业务流程可靠性、责任边界和成本才会从边缘问题变成核心问题。写在最后回看大模型的崛起最容易记住的是某个聊天产品上线的时刻最难看见的却是此前许多年的缓慢叠加。预训练把海量未标注文本变成了学习信号Transformer 提供了适合并行扩展的架构规模化研究让参数、数据和算力的投入更有章法指令微调与偏好对齐改善了模型的可用性对话界面把能力交到普通用户手里RAG、工具调用和推理优化又把它接进真实世界。所以“大”当然是这段历史的关键词却不是全部。真正改变行业的是多个条件终于同时成熟模型能训练出来能力能稳定复现成本能逐渐承担外部系统也能把它约束在可验证的流程里。今天再谈大模型与其只问参数又增加了多少不如多看一层它接入了什么数据和工具失败能否被发现结果能否被验证以及完成一项真实工作究竟要付出多少成本。答案通常比“更大”两个字复杂也更接近这项技术真正的进展。