最近我在帮团队做推理轨道的选型评估翻了一堆公开资料之后发现大家对“OpenAI 的推理芯片 Jalapeño”这件事讨论得挺热闹但真正聊到架构层面的不多。多数人停留在“OpenAI 要做芯片了”这个新闻层面很少有人去拆一颗推理 ASIC 背后的设计选择为什么是 16 个计算核心为什么把面积大量砸给 SRAM为什么这种芯片跑 Transformer 推理看起来特别占优这篇文章我想从一个做推理系统优化的人的角度把 Jalapeño 这颗芯片的架构逻辑梳理一遍也会把我自己算账、对比、甚至推测的部分一并写出来。如果你平时在做推理服务、底层算子优化或者对 AI 芯片设计感兴趣这篇应该能帮你建立一张从晶体管到调度器的完整地图。1. 推理芯片为何值得单独流片这不是“再造一颗 GPU”很多人的第一反应是既然 GPU 已经能跑推理为什么还要专门做一颗推理芯片这个问题的答案藏在推理和训练巨大的行为差异里。训练阶段你要的是吞吐——一批一批数据喂进去让矩阵乘法的计算阵列尽量跑满。训练的矩阵形状相对规整对单次延迟不敏感能容忍较大的 Batch整个计算以“算得越多越好”为最高目标。推理则完全不同用户发来一个请求你要在几十毫秒内给回结果。这意味着 Batch 经常只有 1 到 8矩阵的形状由输入 Token 数决定动态变化非常大。更关键的是推理的主要瓶颈往往不在计算而在访存权重要从显存搬进算子里激活值要反复读写Self-Attention 里的 KV Cache 还要动态追加。业界常说的“Memory Wall存储墙”在推理场景体现得淋漓尽致。GPU 为了通吃训练和推理做了大量妥协。统一的 SIMT 编程模型复杂的线程调度器为了让不同形状的矩阵都能高效利用而设计的大规模缓存层级结构这些在推理场景里并不是最优解。推理场景真正需要的是固定算力密度下的低功耗、确定性的延迟、可预测的数据流以及尽量少的指令调度开销。专用推理芯片Inference ASIC就是把“妥协”变成“极致”既然推理的行为规律是确定的那就把架构做成专门吃这一类工作负载的形状。回到 Jalapeño 这个名字。严格说它并不是官方确认的正式型号更像是一个在圈内流传已久的内部代号。从流片计划、架构轮廓等公开传闻来看它的定位非常清晰一颗面向大规模 Transformer 推理场景的中小规模 ASIC不走 GPU 那种“大核心、高主频、通用并行”的路子而是走“大量小计算单元 靠近计算核心的大容量片上存储 极简调度”的路线。这个定位本身就符合推理 ASIC 近些年被验证过的逻辑用专用换取能效用可预期的数据流动换取延迟稳定。那为什么不是直接把某个已有的推理加速器抄过来这也是我在评估中反复想的问题。不同团队对推理场景的定义不同有人主打端侧小模型有人主打云侧大模型。Jalapeño 明显是奔着云侧大模型推理场景去的它要处理的是动辄几十亿甚至上百亿参数的权重是长上下文的 KV Cache 访问是 Batch 服务场景下的并发调度。这种场景下架构设计的重心会和端侧芯片截然不同端侧在乎的是把模型压缩进有限 SRAM云侧在乎的是在巨大权重集和众多并发请求之间做好存储层级的调度。理解了这个背景后面再看它把 SRAM 做得那么大就不会觉得奇怪了。2. 先给 Jalapeño 画个坐标数据流优先的小芯片路线推理 ASIC 设计路线上我习惯先画两个极端的坐标。一个极端是“通用大核路线”类似把 GPU 简化保留较多通用计算单元通过复杂调度器去适配不同算子灵活性高但能效比很难做到极致。另一个极端是“数据流路线”典型如脉动阵列Systolic Array或近存计算Near-Memory Computing计算单元按固定拓扑组织数据像流水线一样在阵列里流动每条数据的路径在设计阶段就已经确定。这类架构灵活性差但单位功耗下的计算效率极高。Jalapeño 从传闻中的架构特征看明显偏向数据流路线但不是最极端的那种纯脉动阵列。纯脉动阵列的问题在于它对矩阵形状太敏感一旦 Batch 很小或者矩阵不规则阵列利用率会断崖式下跌。Transformer 推理恰恰是形状变化很剧烈的负载所以 Jalapeño 的做法更像是“分块数据流”把计算阵列切成 16 个相对独立的核心每个核心内部采用类脉动或近存设计核心之间通过可配置的数据总线连接。这种折中的好处是既能通过数据流获得高能效又保留了一定的调度弹性可以应对不同层、不同形状算子的切换。另一个值得注意的点是芯片规模。GPU 的思路是做到尽可能大把尽可能多的晶体管堆进去因为训练场景吃“绝对算力”。但 Jalapeño 传出来的核心数量是 16 个这是一个相当克制的中等并行度设计。这里有一个工程上的逻辑并行度越高片上网络、缓存一致性、任务调度的复杂度上升得越快。推理场景对延迟抖动极其敏感一旦调度器在一个同步点上等核心对齐延迟就开始变得不可控。16 个核心配上精心设计的片上网络能在“并行度”和“可预测性”之间取得一个比较好的平衡点。给这颗芯片画坐标的另一个维度是时钟频率。GPU 和 CPU 在功耗约束下通常是降低频率保住更多核心Jalapeño 这种 ASIC 更倾向于直接放弃高频路线把时钟压到中等范围然后用低电压 低漏电工艺去换能效。推理服务是按 Token 付费的电费是成本大头能效比几乎就是这类芯片的生命线。芯片面积如果不堆给计算单元那堆给谁答案是存储。这也是 Jalapeño 架构里最有意思的部分把大量 SRAM 堆在计算核心旁边让“搬运权重”的成本大幅降低。用生活化的类比来说GPU 是一个厨艺全面的大厨食材都放在远处的大仓库HBM里每次做菜都要花力气去搬Jalapeño 则是一个专做固定菜系的中央厨房所有常用食材提前放在手边的架子上SRAM做菜速度快、体力消耗小但你要让它做顿法餐它就傻眼了。顺着数据流路线往下走核心设计的逻辑就变得很清晰计算单元不需要太聪明聪明体现在数据怎么流。所以我在第二层视角里会重点看它怎么处理“计算和存储的贴靠”以及“核心间数据怎么走”这两点决定了它在真实 Transformer 负载上会不会翻车。3. 四个层面的架构拆解计算、存储、网络、调度把 Jalapeño 当作一台“针对 Transformer 推理的特殊计算机”来看它的架构可以拆成四个层面。下面我会一层层展开顺便把每个设计选择背后“为什么这样搞”的原因说透。3.1 计算核心16 个核心的并行粒度与算子熟悉度先看计算这一层。16 个核心每个内部一定不是单一类型的 ALU不然推理中的各种算子会很难受。我会做这样的推测每个核心内包含若干固定功能的矩阵乘单元专门吃 Linear、Conv 这类 GEMM 运算、向量单元处理 GELU、LayerNorm、Softmax、残差连接这类逐元素算子以及少量用于地址生成和流控的逻辑。GEMM 单元内部大概率是脉动阵列或者半脉动结构因为 GEMM 是 Transformer 里最大的计算量来源。为什么是 16 而不是 4、64这背后有个并行度收益递减的规律。并行粒度过细比如 4 个核心权重并行加载的能力不足模型层间并行和 Batch 内并行都受限并行粒度过粗比如 64 个核心核心间通信和数据同步的开销会吃掉大量收益。Transformer 推理有个特点不同层的计算是严格串行的Layer N 的输出必须是 Layer N1 的输入。如果核心过多每个核心算完一层后都要等邻居的数据等待时间会拉长。16 个核心配合片上 Buffer 直连可以做到比较快的层间切换——前一个核心算完一段后一个核心马上接着算有点像流水线上工位之间的半成品传递。3.2 存储层级为什么 SRAM 是这枚芯片的主角第二个层面是存储这是 Jalapeño 最值得聊的部分。存储层级一般分三层寄存器堆最贴近计算单元容量小、速度极快、SRAM片上容量中等几个 MB 到几十 MB 级别、DRAM外部通常走 HBM 或 LPDDR 接口容量大、带宽高、功耗也高。Jalapeño 的设计重点几乎全在第二层。一个关键判断是它的 SRAM 总量很可能非常可观。为什么我们可以粗算一下。拿一个 7B 参数的模型来说一个 Transformer 层的权重大约是QKV 投影矩阵 Attention 输出矩阵 两个 MLP 矩阵总共大概四五个矩阵每个按 4096x4096 大小、FP16/INT8 存储一层权重大约是 70 到 140MB。如果把一颗芯片的 SRAM 做到 100MB 量级配合按层加载的策略就能实现“一层权重几乎全部放进片上 SRAM算完一整层再换下一层”。这直接解决了推理中最贵的权重搬运问题GPU 一拍脑袋要从显存把 100MB 权重搬进寄存器可能要花费几微秒而 SRAM 直接贴着计算核功耗和延迟都能降一个数量级。当然100MB 这个数字在先进工艺下不便宜但它撑起的能效收益是值得的。存储墙的本质就是“搬运比计算贵”。Jalapeño 的思路说白了就是既然搬运这么贵那就尽量把东西放在手边。3.3 片上网络与外部互联数据怎么走决定了效率上限第三个层面是互联。16 个核心之间、核心与 SRAM 之间需要一套片上网络(NoC)来连接。推理场景的通信模式很有规律核心间的数据交换主要发生在层切换、KV Cache 分发、以及部分张量并行拆分场景。Jalapeño 的 NoC 设计应该不是通用网格而更像为特定数据流定制的环形/交叉开关混合结构。这种结构的优势是延迟确定每个核心到相邻核心的跳数是固定的调度器可以精确计算每笔数据到达的时间从而做到流水线无气泡。外部互联同样重要。单颗芯片算力再强单卡放不下大规模模型必然需要跨芯片运行。Jalapeño 这类推理芯片通常会集成较高带宽的片间互联类似于 NVIDIA 的 NVLink、Google TPU 的 ICI带宽预算可能达到数百 GB/s 到 TB/s 级别。这里有个尴尬的行业现实新一代 HBM 的带宽越来越快但片间互联的速度总是跟不上片内带宽的增长这也是“通信墙”比“算力墙”更早见顶的原因。Jalapeño 在这块的选择大概率是“用更大的 SRAM 减少跨芯片数据搬移”而不是一味把片间互联做宽。3.4 调度与控制把复杂留在编译期把简单留在硬件里最后一个层面是调度。GPU 的调度器是“动态英雄”每条指令都要经过线程调度器的分发Jalapeño 这种 ASIC 则倾向于把调度逻辑尽量前移到编译期。它片上控制单元的任务很单纯按预编译好的执行计划类似 DAG 图在正确的时间点触发对应核心的执行并等待五个依赖信号回来。也就是说真正难的工作被藏在了软件栈里硬件只做一个可靠、低延迟的执行器。这种调度模式也解释了为什么这类芯片的“可编程性”远不如 GPU你想让程序员手写 CUDA Kernel 那样自由调度 16 个核心几乎不可能。它更适合的场景是模型固定、算子确定、优化好的执行计划可以反复使用。推理服务恰恰满足这些条件同一个模型上线后算子集合在运行期是基本不变的完全值得花大量编译时间去生成最优调度。4. 用一次 Transformer 推理串起整条数据流架构讲完了我们来干一件比较实在的事情把一次典型的 Transformer 前向推理逐步映射到 Jalapeño 的架构上看看它实际怎么运行。这样比空谈规格更容易看出这个架构设计的优劣。假设模型已经通过编译生成了一份执行计划。推理请求进来时系统的处理流程大致是这样的第一步权重准备。调度器按执行计划把模型第一层Embedding 或第一个 Attention Block 前需要的矩阵的权重从外部 DRAM 搬运到对应计算核心旁边的 SRAM。由于核心多、SRAM 容量有限这里需要按“层”或者按“半个层”来切分。如果模型一层 140MBSRAM 总容量 200MB那可以做到一层放完再算如果模型一层更大就得拆成“行块”让矩阵乘逐块完成。这个“tiling分块”策略是推理编译器最核心的工作它直接决定片外访问的次数。第二步激活数据流动。输入 Token 经过 Embedding 后变成向量进入第一个 LayerNorm、QKV 投影。这里以 GEMM 为主计算核心把输入向量广播进脉动阵列权重从 SRAM 中像流水一样喂入阵列一侧部分结果从另一侧流出。这一步最能体现数据流架构的优势没有复杂的寻址没有线程调度数据按照固定节拍流动一个 4096x4096 的矩阵乘可以在极短的时间内算完。第三步Attention 主体。Query 和 Key 做点积得到注意力分数QK^T接着 Softmax然后和 Value 相乘。这里有一个 Transformer 推理特有的访存热点KV Cache。在处理长上下文时KV Cache 会持续增长而且它是动态的无法像权重一样整齐地放进一块固定 SRAM。Jalapeño 的做法很可能是把 KV Cache 放在一块独立的、按需分配的 SRAM 分区或直接放到外部 DRAM 中由控制单元管理读写偏移。这类动态访问恰恰是推理 ASIC 最容易踩坑的地方也是我认为它的调度器必须保留足够灵活性的原因。第四步跨层衔接。第一层输出经过 MLP、残差、LayerNorm 之后会作为第二层输入。如果是多芯片协同推理模型并行这中间还有一次跨芯片通信。Jalapeño 因为单芯片算力不算顶级大规模模型大概率需要多芯片互联此时“层间流水”会变成“芯片间数据搬运”。这块工程复杂度很高但也正说明它的设计者很清楚单颗芯片的“蛮力”不可能超过 GPU真正的竞争力在于整体系统的高能效。第五步Token 并发。推理服务不会一次只来一个请求它会攒一个 Batch比如 8 个请求让 GEMM 的利用率上去。Batch 越大矩阵乘效率越高但 Attention 部分会和 Batch 大小产生非线性开销。Jalapeño 的 16 个核心在这里可以做出很合理的工作分配一部分核心处理 GEMM一部分核心处理 Attention 的访存密集操作通过指令级并发尽量掩盖访存延迟。把整个流程走一遍之后你会发现Jalapeño 的架构设计高度围绕一个核心主题让数据搬运尽量发生在片内 SRAM让算子调度尽量提前到编译期。它不是用来跑五花八门的模型的而是用来高效率、低延迟、低功耗地跑那 90% 的“标准 Transformer”。5. 在存储墙前面算一笔账SRAM 面积为什么压得这么狠前面提到 SRAM 是主角这一节我们就来算一笔具体账看 SRAM 到底值不值得砸那么多面积和功耗。这也是我在评估 ASIC 方案时最常用的一个思考框架。先建一个简化模型。假设我们要在一颗芯片上完成一个 4096x4096 的矩阵乘比如一层 MLP 的权重矩阵以 INT8 为例权重大小是 4096 x 4096 16M 个字节 16MB。再假设芯片有一块 100MB 级别的 SRAM这块目标权重 16MB 可以完全放进去。这意味着什么意味着我们只需要从外部 DRAM 加载这 16MB 一次然后所有计算都从 SRAM 里喂数据。权重在片内被反复使用而 SRAM 的读带宽远超外部 DRAM整个计算可以做到几乎没有访存停顿。做个对比算例。假如我们不把权重放进 SRAM而是每次都从外部 DRAM 读取权重来喂给计算单元。假设外部访存带宽为 5TB/s一个不错的 HBM 数字权重 16MB传输时间大约是 16MB / 5TB/s ≈ 3.2 微秒。看似很短对吧但注意计算侧一个 4096x4096 的矩阵乘如果用 128x128 的脉动阵列计算需要 (4096/128) x (4096/128) 1024 个周期。如果时钟 1GHz阵列算完大约只需要 1 微秒。也就是说抬数据的耗时3.2 微秒比计算本身1 微秒还长计算单元大部分时间都在等数据利用率不到 25%。如果把权重预先放在 SRAM 里SRAM 读带宽可以用 10TB/s 甚至更高片内带宽更容易堆权重搬运时间和计算时间之差就会被抹平。再考虑功耗。从 DRAM 读数据的能量成本大约是从 SRAM 读数据的 10 到 20 倍。一个推理请求涉及几十甚至上百个这样的矩阵乘如果每次权重都要从 DRAM 搬总能量消耗会非常夸张。Jalapeño 压 SRAM本质上是在用芯片面积换运行功耗这是推理 ASIC 的经典“面积换能效”策略。当然SRAM 不是白给的。100MB SRAM 在先进工艺下要占掉大片芯片面积直接影响良率和成本。所以芯片设计者不会真的把整个模型权重都放上去而是放“一层权重 正在计算的子块 一些临时缓冲”。这种容量上的平衡点需要针对目标模型做大量模拟。我私下推算Jalapeño 的 SRAM 大概率不会只做几十 MB因为如果只放几十 MB一片内只能同时处理不到一个自然层频繁的层切换会引入新的 DRAM 访问。理想情况是能完整覆盖一个大的 MLP 层让权重全生命周期都留在片上。用表格把这个对比列出来会更直观指标权重每次从 DRAM 读权重预热进 SRAM 后计算权重源外部 DRAMHBM片上 SRAM典型带宽5TB/s 级别10TB/s 以上单次矩阵乘读取能耗高跨片外长走线低短走线近核计算单元等待时间明显利用率低基本可隐藏适用场景形状多变、不可预测权重固定、算子固定算完这笔账你就能理解为什么“堆 SRAM”在推理 ASIC 里不是暴殄天物而是对症下药。6. 能效数字背后的工程取舍压低频率、推高利用率很多厂商喜欢在发布会上报一个惊艳的峰值 TOPS 数字但做过推理系统的人都知道峰值数字没有意义真正决定体验和成本的是“有效算力利用率”和“能效比”。Jalapeño 这类芯片的能效数字其来源不是单个算子的峰值而是下面这几项工程取舍叠加出来的。首先是频率策略。芯片主频越高动态功耗按平方关系上升。推理 ASIC 通常把频率定在 1GHz 上下甚至更低用更多核心数和更宽数据通路的办法补足算力。这样功耗可以降一截同时频率降低也减少了时序收敛的难度设计更容易流片一次成功。你很难想象一颗 CPU 或 GPU 降到这种频率但推理芯片有这个资本因为推理场景可以不追求极致单核性能而是追求单位瓦特下的有效计算。其次是精度策略。推理场景大规模用 INT8 甚至 FP8 已经是标配。Jalapeño 的计算单元如果按 INT8 峰值设计相比 FP16 能在同样面积和功耗下获得两倍以上的算力。而且 Transformer 推理对低精度的容忍度已经被验证过INT8 量化配合好的校准在常见模型上损失很小。这里再叠加一个细节推理时激活值动态范围变化大很多芯片会引入“混合精度块”——矩阵乘主体用 INT8个别敏感层用 FP16Jalapeño 的执行计划里应该也会做这种动态切换。第三是稀疏跳过。推理中 ReLU 或 SwiGLU 会带来大量零激活值。如果一个计算单元能跳过全零块实际有效算力会明显上升。数据流架构做稀疏跳过比 GPU 容易固定拓扑的数据流里只要在激活进入阵列前加一个零值检测器就可以跳过整个子块的读取和计算。这一块做到极致推理芯片的有效能效可以比“纸面 TOPS/W”再高一截。最后是节能调度。数据流架构的核心在运行时几乎没什么指令开销也没有线程换入换出芯片中有大量单元处于“通透”状态而不是“忙乱”状态。GPU 跑推理时线程调度器和指令分发单元本身就在耗电而且它们并不产出算力结果。Jalapeño 把动态调度压到最低省掉的这部分功耗在长时间连续推理服务中相当可观。我还想提一个良率上的取舍。SRAM 占比高、芯片面积偏大会导致流片良率压力变大。工业界的通用做法是预留冗余单元在 SRAM 行或列上多放一些备用块出厂测试发现坏块就把地址重映射到备用块。推理芯片对全容量 SRAM 的需求是刚性的少了会直接影响分块策略所以冗余设计必须做足。这块成本也会体现在最终单颗芯片价格里但推理 ASIC 本来就不是靠“卖芯片”赚钱而是靠“自用省电费”回本所以它对这颗芯片的良率容忍度会比通用芯片厂商高一些。7. 编译器和运行时决定 Jalapeño 生死的部分如果只看硬件架构Jalapeño 的价值可能还没法完全看出来。真正能让 16 个核心发挥威力、让 SRAM 利用率逼近上限的是它的编译器和运行时。我一直认为这类推理芯片 70% 的工程难度在软件栈硬件反而是相对简单的部分。我们先看编译器要干什么。给定一个模型编译器要做的事情包括把计算图拆成算子级 DAG对每个 GEMM 算子决定分块策略tiling决定权重按什么顺序加载进 SRAM什么时候换出给 16 个核心做任务分配规划数据流动路径还要做算子融合把 LayerNorm QKV 投影 Attention 以及 MLP 等前后算子拼成尽量少的大块计算段减少中间结果落回 DRAM 的次数。这里面最容易翻车的是“动态 shape”。推理请求的输入长度不定Attention 的中间矩阵形状在运行期会变。一个写死的编译结果遇到新 shape 可能性能暴跌。因此运行时必须有一套轻量级的“重新分块”机制编译器生成候选方案表运行时按实际 shape 查表选择最接近的执行计划。这一层设计的好坏直接决定上线后延迟的一致性。另一个躲不开的难题是 KV Cache 的管理。长上下文场景下KV Cache 增长快、稀疏、分布不均匀而且经常需要在多请求之间共享管理比如前缀缓存。如果芯片的运行时对这一块支持不好注意力部分很快就会成为瓶颈。Jalapeño 大规模部署时势必要配合一套叫做“KV 管理器”的软件组件负责把缓存分配到各核心的 SRAM 分区里。这个组件做得越好长上下文推理体验越顺滑。GPU 生态之所以强大是因为 CUDA 做了二十年把调度、内存管理、算子匹配都打磨得足够好。专用推理芯片想切入市场最难的不是流片成功而是软件栈让用户和内部团队“敢用、好用”。Jalapeño 如果只服务自家场景编译器只需要适配有限几种模型和部署策略压力会小很多一旦想把这颗芯片做成对外可售卖的产品编译器与运行时必须开源或提供足够好用的工具链否则别人根本玩不转。我在评估多种推理 ASIC 时的一个体会是看芯片先看编译器编译器里算子融合的粒度就能猜出真实性能。如果只做内核级融合而不做层间融合说明软件栈还不够成熟即使硬件峰值很好看跑真实模型也大概率达不到宣传值。8. 我的观察别只盯着峰值性能最后聊一点个人观察。关于 Jalapeño我听到的比较多的一个误读是“OpenAI 自己造了颗芯片要把 GPU 干掉”。实际上从这颗芯片的定位来看它更像是在特定场景里追求极致能效比和成本效率的“专用部件”而不是通用计算平台的替代品。推理服务的核心成本中电费、散热和机房空间是持续性的开销一颗专用推理芯片只要能稳定做到“每瓦产出多少 Token”高于 GPU哪怕绝对算力不如 GPU它都能在规模化部署中产生实际价值。我也想说做推理 ASIC 最忌惮的是把架构做成“一次性”的。Transformer 是目前的统治性架构但注意力机制之后会不会出现新的计算范式如果未来模型的计算模式变了纯数据流架构能否通过固件升级去适配Jalapeño 选择了 16 个核心而不是一整块大脉动阵列某种意义上也给自己留了软件层适配的余地。任何一颗芯片的设计都必须在专用性和演进取舍之间走钢丝。如果你是做推理系统选型的人我的建议是先不要听宣传口径里的 TOPS先去要一个真实模型的端到端延迟和功耗样本最好再让厂商跑几个长上下文场景。专用芯片普遍在“标准 shape 的 GEMM”上表现亮眼一旦遇到动态 shape、低 Batch 或者长上下文性能往往会出现明显回落。Jalapeño 这类架构在纸面上针对这些问题做了不少专门设计但实际效果还得等真实部署数据说话。芯片好不好落地上线见真章。