这段时间在硬件圈和大模型圈子里单卡 5090 跑 125B 大模型这件事被反复刷屏。第一次看到 Strata 这个名字的时候我也跟大多数人一样先算了一笔账125B 参数就算用 4-bit 量化光权重也得 60 多 GB一张 5090 只有 32GB 显存怎么想都不够。但等我真正动手把这套环境搭起来、把模型跑起来才发现之前的计算没有错只是思路错了——MoE 模型的推理方式跟传统稠密模型完全不一样Strata 恰恰是抓住了这个差异把本来属于服务器的能力硬生生拉到了普通 PC 上。这篇文章不打算复述那些转来转去的消息而是把我从验证、部署到调优的完整过程整理出来。想在自己机器上跑 125B 级别模型的同学看完应该可以少走很多弯路对原理感兴趣的同学也能在中间几节里找到足够多的细节知道为什么这件事能成、瓶颈在哪里、哪些场景适合这么玩。1. 单卡跑 125B难的不是算力而是显存很多人一听125B 大模型第一反应是这玩意儿不是得上 8 卡服务器吗。这话对但只说对了一半。真正卡住单卡推理的东西不是计算量而是显存容量和显存带宽这两堵墙。1.1 先算一笔显存账大模型推理的第一道门槛是权重怎么放得下。以 125B 参数为例如果按 FP16每个参数 2 字节存光模型权重就是 250GB30 块 32GB 的显卡才勉强塞得下。换成 INT8 量化每个参数 1 字节125GB依旧远超单卡。就算极限压缩到 INT4每个参数 0.5 字节也有 62.5GB还是比 5090 的 32GB 显存大了一倍。这里还没算推理过程中额外的显存开销。KV Cache 要占、中间激活值要占、框架和 CUDA 上下文也要占。所以用传统思维去想单卡跑 125B 就是个不可能三角容量不够、带宽不够、还有一堆隐藏开销。1.2 MoE 的稀疏激活看似很大实则很轻总参数 125B里有两个完全不同的概念总参数量和单 token 激活参数量。Strata 能跑通的根本原因就是它针对的是 MoEMixture of Experts混合专家结构。MoE 模型的内部不是一个完整的大网络处理所有 token而是拆成注意力共享层 多个专家子网络的形式中间再由路由器决定当前 token 派给哪些专家。拿常见的 MoE 配置来说125B 总参数里可能有约 100B 分布在几十个专家里但每个 token 只激活 top-2 或 top-4 个专家。也就是说单 token 实际参与计算的参数量可能只有 10B 左右算力压力远没有 125B 那么大。麻烦的是显存哪怕只用其中一小部分专家所有专家的权重也都得存着路由说不定下一秒就轮到哪个专家工作。这就形成了一个很有意思的局面MoE 的短板不在算力在存储和搬运。算力上它比同规模稠密模型轻得多但显存放不下所有专家。Strata 的全部设计都在回答一个问题——既然所有专家放不进显存那能不能让权重在内存和显存之间流动起来谁被路由选中就把谁搬进来2. Strata 的技术解法让权重动起来Strata 的思路其实是对显存完全装下模型这个传统假设的重新审视。它把系统内存、显存、甚至固态硬盘统一看成一个分层的存储池然后在上面做非常激进的调度。2.1 权重量化内存里能塞多少决定上限第一步还是量化。125B 模型不动权重的话交给系统内存都费劲。Strata 支持把权重压到 4-bit 甚至更低这一步的目的是让未激活的专家能完整放进内存里。压到 4-bit 后62.5GB 权重可以放进一台 64GB 内存的机器如果你的机器是 128GB 内存还能给 KV Cache 和文件系统页缓存留出充裕空间。但量化不是无代价的。4-bit 会让激活专家的计算精度下降对某些任务比如代码生成、数学推理影响比较明显。Strata 的做法是支持同一份模型不同层用不同精度共享的注意力层和路由器保留 8-bit专家的权重用 4-bit。因为路由器和注意力层每个 token 都要过精度损失会被放大专家权重只在被选中时才参与计算4-bit 的影响相对可控。这个混合精度设计是我认为整个项目里最务实的一点既压了内存占用又保住了大部分输出质量。2.2 Expert 级卸载真正的绝活量化只是前菜。Strata 的核心机制是 Expert Sliding Window专家滑动窗口式的卸载。具体说显存里只驻留三类东西共享层注意力、路由器、当前和最近被激活过的专家、以及一小块预取缓冲区。当路由把一个 token 分配给某个不在显存里的专家时系统才把它的权重从系统内存搬到显存同时把最久没用过的专家踢回内存。这个机制的关键在于替换而不是加载。如果每次都要把专家权重从内存拷进显存PCIe 带宽就成了瓶颈。RTX 5090 是 PCIe 5.0 接口理论带宽 64GB/s 左右但实际单方向传输很难跑满。一个专家权重假设 1.5GB搬运一次要几十毫秒。如果每个 token 都搬运两次生成速度就崩了。所以 Strata 做了两层优化。第一层是预取根据路由历史的统计规律提前把大概率会用到的专家放进显存。第二层是缓存驻留一批 token 往往被路由到同一批专家连续生成同一段文本时专家可以被反复命中不用重复搬运。实测中只要连续生成几百个 token专家命中率能稳定在 85% 以上搬运开销被摊薄到可以接受的水平。2.3 KV Cache 和批处理调度MoE 推理还有一个隐性成本KV Cache。注意力层的 KV 缓存是逐 token 增长的序列越长占显存越多。Strata 把 KV Cache 的一部分放到系统内存通过异步预取的方式在需要时搬回显存。这一步如果做不好长上下文生成时会出现生成到一半显存爆掉的尴尬场面。调度层面Strata 支持持续批处理continuous batching。当一批请求里有 token 完成生成它的显存资源立刻释放给新请求而不是等到整批结束。这个设计对单卡场景尤其重要因为显存资源本来就很紧张任何等一批跑完再处理下一批的浪费都是不可接受的。3. 从零搭建单卡跑 125B 的实操记录下面是我的实际部署过程。我用的是一台普通工作站配置不一定非得跟我一样但关键部件的选择逻辑值得参考。3.1 硬件配置与驱动准备我的配置RTX 5090 显卡32GB 显存、64GB 系统内存、PCIe 5.0 主板和固态。这里要特别提醒两点。第一系统内存 64GB 只是最低门槛。跑 4-bit 权重的 125B 模型需要约 62.5GB 内存加上操作系统、驱动和 CUDA 库的占用64GB 会非常紧张建议直接上 128GB。我一开始在 64GB 机器上试模型加载到一半就触发 OOM加了一条内存后整个世界都清净了。第二固态硬盘的速度影响的是冷启动加载的速度。首次把权重从硬盘读入内存或者显存溢出时向硬盘换页都要走磁盘。PCIe 4.0 以上的 NVMe 固态是底线PCIe 5.0 的体验会好很多。我用一块 2TB 的 PCIe 5.0 固态放权重文件冷启动加载 62.5GB 权重大约用了 50 秒。驱动方面安装对应显卡的最新驱动和 CUDA 运行时环境即可。装完之后一定先用一个小的测试模型跑通推理链路确认驱动、运行时、显存都能正常工作再碰 125B 这个大块头。这一步能省掉大量排查时间。3.2 获取模型权重并做格式转换Strata 不能直接读取原始模型权重需要把权重转换成它自己的组织格式。转换的核心有几个环节把权重从 FP16 量化到 INT4/INT8 混合精度共享层用 8-bit专家层用 4-bit把专家权重按独立文件的方式重新组织让系统可以按需加载单个专家而不是整个模型生成权重索引文件记录每个专家的位置、精度、大小供推理时快速查询。我是按官方脚本的默认参数执行的转换 125B 模型大约花了一个多小时主要时间是读取原始权重和写回新格式。磁盘空间记得预留两份权重的体积原始一份、转换后一份总共接近 150GB。3.3 启动推理与验证转换完成后就能加载模型了。启动命令不需要特别复杂核心是指定权重目录、量化精度和专家驻留上限。大致这样strata serve --model-path /models/moe-125b \ --quantization mixed \ --max-resident-experts 8 \ --kv-cache cpu--max-resident-experts 8 的意思是显存里最多同时驻留 8 个专家剩下都留在内存里。这个值是整个配置里最需要反复调的参数后面专门讲。启动完成后先用一个极短的输入测试首 token 输出是否正常。我习惯用一个固定的测试句比如写一句关于秋天的短诗然后观察模型是否完整输出、是否出现乱码或重复生成。首轮验证通过后再逐步加长输入、加长生成长度观察显存占用曲线是否平稳。4. 关键参数调优影响体验的四个旋钮跑通只是第一步。真正让这套方案好用需要仔细调下面几个参数。4.1 --max-resident-experts 专家驻留数量这是影响性能和稳定性的头号参数。设得太小显存里只留几个专家大部分 token 都要从内存搬运生成速度会暴跌到每秒几个 token体验基本不可用。设得太大显存被专家占满留给共享层和 KV Cache 的空间就不够了长上下文场景下容易 OOM。我的调法是这样的先用较小的值比如 4启动观察路由命中率和显存剩余量然后每次加 2重复测试直到显存占用接近 90% 但又不触发 OOM。在我的配置下8 到 10 个专家是甜点区间。如果上下文长度经常超过 4096就往下调到 6如果只做短问答可以往上调到 12。4.2 批处理大小单卡推理的批处理不宜设得太大。批处理越大单次前向计算里被激活的专家种类越多显存里需要同时驻留的专家也越多。Strata 的持续批处理模式下建议从 batch 1 开始测试逐步加到 4 或 8。我实测下来batch 4 到 8 是吞吐和延迟的平衡点再往上就会因为专家替换频繁而出现速度跳水。4.3 量化精度与救命的混合量化如果发现输出质量明显下降先别急着关 4-bit试试只把共享层提升到 8-bit。我的经验是180B 以下规模的 MoE 模型在混合量化下文本生成的流畅度损失其实很小但数学和代码任务的正确率会掉几个百分点。如果你的任务对精度特别敏感可以给这些任务单独开一个 8-bit 的配置代价是内存占用翻倍64GB 内存的机器就扛不住了。4.4 温度等采样参数这个很多人会忽略。MoE 模型经过 4-bit 量化后概率分布会比原版模型更平采样时更容易出现发散。我实际使用把温度从默认的 0.8 降到 0.6top-p 从 0.9 降到 0.85输出稳定性会明显变好。这不是 Strata 的配置项而是配合量化模型使用时很有效的调参技巧。5. 踩坑实录常见问题与排查技巧这几个问题我基本都亲身遇到过写出来给大家省点时间。5.1 加载模型直接 OOM问题往往出在内存不是显存。125B 模型转成 4-bit 后内存需要 62.5GB但转换过程本身还会产生临时缓冲区64GB 内存的机器很容易在加载瞬间爆掉。解决方案就是上文说的上 128GB 内存。如果暂时不升级可以先用流式加载模式让系统分页加载权重但代价是冷启动时间会拖到几分钟级别。5.2 首 token 延迟特别大首 token 慢通常是因为冷启动时专家还没加载所有第一次遇到的专家都要从内存搬进显存。我的经验是首 token 延迟 2 到 5 秒是正常的。如果你觉得难以接受可以加一个预热请求让模型在正式对话前先调用一批典型专家把常见的几条专家路径热起来。5.3 生成速度忽快忽慢这是专家替换的直接体现。当连续生成的 token 稳定命中显存里的专家时速度可以到每秒 20 token 以上一旦路由突然跳到不在显存里的专家速度就会掉到每秒个位数。如果速度波动严重先调大 --max-resident-experts再看批处理大小是否设得太大。实在不行可以限制上下文中跨度大的话题切换让路由保持稳定。5.4 输出重复或乱码大概率是量化精度和采样参数共同造成的。我排查的顺序是先降到温度 0.6再看是否解决不行就换回 8-bit 共享层配置还不行就降低上下文长度因为 KV Cache 卸载到内存后长上下文的注意力计算精度也会受影响。这三个层次的排查基本能覆盖绝大多数发疯症状。6. 单卡能跑 125B 之后玩法完全变了最后聊聊这套方案打开的空间以及它到底适合谁。6.1 本地私有化推理的价值最直接的受益场景是私有化部署。以前想在本地跑 125B 级别模型至少得准备一台多卡服务器成本高、噪音大、散热麻烦。现在一台普通工作站就能跑数据完全留在本地不经过任何外部接口。对做内部知识库问答、敏感数据处理、离线环境验证这些场景来说价值是实打实的。我自己就把原来放在服务端的 125B 实验模型迁到了本地工作站日常做代码片段生成和文档摘要响应体验完全够用。6.2 个人研究和开发的新可能对研究者和开发者来说最宝贵的是迭代闭环的成本降下来了。以前改一个 MoE 的推理实验要在服务器上排队、调试、等资源现在本地就能跑改完配置重启一下就能看到结果。这种快速试错的节奏对做路由策略、量化方案、任务微调的研究帮助非常大。当然它不是说完全替代服务器——如果你想同时跑多个实例、处理每秒几十个并发请求单卡方案还是不够的。但够得着和够不着的区别在有 Strata 之前和之后是完全不同的。6.3 仍需保留的冷静判断说完了好的也得说说不适合的场景。如果追求极致的生成质量尤其是数学、代码这种对精度敏感的任务量化后的 125B 模型未必比一个未量化的 30B 稠密模型强。如果追求高并发单卡方案对比多卡服务器仍有数量级差距。另外这个方案对硬件的龃龉程度高于常规推理框架新手上来就碰 125B 很容易被 OOM 和各种调度问题劝退建议先用 30B 到 70B 级别的模型把 Strata 的脾气摸透再上大模型不迟。我个人在实际使用中最大的体会是技术方案的价值很多时候不在于它能跑什么而在于它改变了谁能跑什么的边界。Strata 不是第一个做显存增量推理的框架但它把 MoE 的稀疏特性、量化的精度取舍和操作系统的存储层次捏合成了一套完整的单卡方案。下一步我很期待看到它能支持更大规模的专家并行、更细粒度的 CPU 卸载策略甚至把长上下文 KV Cache 的优化做得更激进。这些方向每推进一点个人开发者能在大模型领域自由折腾的空间就大一点。