RocketMQ消息堆积排查与治理：从原理到实战

面试时候被问到“RocketMQ 消息堆积怎么办”其实真正想听的未必是标准操作而是你有没有独立处理过线上压测和真实故障。因为消息堆积背后的坑太典型了消费速度跟不上、队列并发配错、死信没人管、监控看不到积压趋势。这篇文章不打算背八股我会把排查思路、应急手段、治本方案、还有我实际踩过的坑全部摊开讲一遍适合正在准备面试的研发同学也适合已经上了 RocketMQ 但还没遭过大堵车的运维和架构师。先说一下我的态度消息堆积本身不可怕可怕的是堆积之后你还在乱加机器。很多人一看到积压数字变红第一反应就是扩容消费者实例结果加了 20 台上去积压一点没降。为什么因为 RocketMQ 的消费并行度根本不由机器数量决定队列数量才是上限。这些底层机制不搞明白后续所有操作都是盲人摸象。这篇内容从堆积发生的原理讲起再给出一套完整的排查命令和监控指标然后按“应急、优化、扩容、治本”四个层次拆解解决方案最后附上真实案例复盘和日常预防体系。你可以把它当作一张消息堆积处理的地图线上出了状况照着走至少不会慌。1. 消息堆积的本质先搞清楚消息积压在哪里1.1 一条消息从生产到消费堆积到底发生在哪个环节我特别喜欢用一个比喻来解释 RocketMQ 的消息流转生产者是拧开的水龙头消费者是下水道地漏Broker 是中间的蓄水池。正常情况下水龙头进水速度和地漏排水速度差不多水池水位稳定一旦进水速度超过排水速度或者地漏本身堵了水位就开始涨。RocketMQ 里的“水位”就是消费位点ConsumerOffset和最大位点MaxOffset的差值也就是我们常说的积压量。你手上有这么一条链路Producer 把消息写到 BrokerBroker 把消息顺序追加到 CommitLog同时按照 Topic 队列生成逻辑索引 ConsumeQueue然后等消费者来拉取。消息一旦进了 CommitLog它就稳稳地躺在 Broker 磁盘上不存在“弄丢”的可能唯一的问题是消费者有没有及时把它消费掉并提交位点。所以严格来说消息堆积不是消息在 Producer 端堵住而是 Broker 里的消息没有被消费者按照正常速度取走属于消费侧问题。这里有一个很多人容易忽略的细节Broker 上的“积压”其实分两块一块是正常业务 Topic 下每个队列里未被消费的消息另一块是消费失败后进入的重试队列和死信队列。当你打开 Dashboard 看某个消费组的积压数量时统计口径通常是所有队列位点差值的总和但如果业务里消费失败率很高你会发现重试队列里其实还压着一批“隐形积压”主队列看着还好实际消息已经从主队列挪到重试队列了消费滞后依旧无法缓解。这个视角很重要因为很多排查手段第一步都盯主队列结果忽略了重试和死信。还要注意Broker 侧每个 Topic 默认会划分成多个队列比如默认创建 4 个写队列和 4 个读队列。消息会按照选择策略分配到不同队列里而消费端同一个消费组的消费者实例会瓜分这些队列。水位到底是均匀上涨还是某个队列单独暴涨这是判断瓶颈位置的第一张图。1.2 消费并发模型和重试机制决定了你能怎么处理堆积RocketMQ 的客户端虽然叫 PushConsumer但底层其实是长轮询拉取模式。消费者启动后每个实例会启动拉取线程向 Broker 拉取一批消息然后提交到消费线程池里执行业务逻辑处理成功就上报位点处理失败就会触发重试。这个“拉一批、处理一批、上报位点”的过程有个关键含义消费并行度是由队列数量和消费线程数共同决定的但队列数量是天花板。我打个比方队列就像是传送带上的工位每个工位同时只能站一个工人消费者实例就是工人数量。传送带只有 8 条你哪怕喊来 100 个工人同一时刻能上手处理的也只有 8 条传送带上的 8 份工作。在 RocketMQ 这里一个队列同一时刻只分配到一个消费者实例一个消费者实例内部才能多个线程并行消费它拥有的队列所以消费者实例再多的只要 Topic 队列数不增加并行度就上不去。这就是“加了 20 台机器但积压纹丝不动”的根本原因。重试机制也得拎出来说清楚。业务消费抛异常时RocketMQ 会按延迟级别重试默认 16 次间隔从 1 秒逐步拉长到最长 10 分钟以上。重试期间消息不在原队列里而是进入 ConsumerGroup 对应的重试队列。如果重试全失败消息会进入死信队列等待人工处理。这套机制保护了消息不丢但也带来一个副作用如果业务逻辑处于“一直失败”状态重试队列会不断吞噬积压主队列积压数字看着上涨不明显但消费位点就是不动。所以排查积压问题时重试次数、消费失败率、死信队列积压三项必须一起看任何一个异常都可能导致“水龙头正常、地漏却堵了”。了解完这些底层机制你就能理解为什么我不主张一上来就重启服务。重启消费者只是让进程恢复那些已经挂在 Broker 上的消息依然在消费逻辑没变重启一百遍也消不完。正确做法是先分清是“水龙头放水变快”还是“地漏排水变慢”再决定下一步动作。2. 排查消息堆积的完整思路从监控到定位瓶颈2.1 第一步先确认这是不是真的堆积线上遇到积压告警先别急着操作第一步是确认告警本身是否可靠。所谓“伪堆积”指的是消费位点其实在正常推进但由于监控系统数据延迟、消费组名写错、Dashboard 统计口径异常等原因展示出一个虚高的积压数字。我在实际工作中就见过监控系统每 5 分钟拉一次 Broker 数据在消费位点尚未刷新到最新时算出来的差值偏大误报了好几次。最原始也最可靠的办法是用命令行工具查看真实位点。找到你部署 RocketMQ 的机器直接执行# 查看某个消费组的消费进度的简单命令具体参数以你安装的版本为准 mqadmin consumerProgress -g 你的消费组名 -n 你的nameserver地址输出里会列出每个 Topic 每个队列的最大位点、消费位点以及两者差值。如果差值是 0 或者在一个很小的区间内波动说明消费速度是跟得上的当前告警大概率是误报如果差值持续变大这个积压才是真积压。同时还要确认消费组名字别搞错。RocketMQ 里消费进度是按消费组维度存储的你明明有一套新的消费者示例在跑但如果 group 名和监控面板里配的不是同一个监控自然显示积压原消费组却已经把消息消费完了。这种低级问题在微服务化改造后特别常见不同团队各建一套 group 却不更新监控配置。此外建议一上来就把三个面板拉出来看实时积压量、积压变化趋势、消费 TPS。积压量是存量变化趋势是速度消费 TPS 是能力。只看积压量会误判严重程度比如积压 10 万条但消费 TPS 有 5000理论上 20 秒就能追平真不用慌反之积压只有 5000 条但消费 TPS 为 0那才叫真故障。2.2 判断“能消化”还是“消化不动”消费能力和耗时是关键确认积压真实之后先分清楚一个核心问题当前消费能力有没有在正常输出如果消费 TPS 接近正常水平只是生产峰值更高导致积压这是“流量压差型”积压处理起来相对容易如果消费 TPS 掉到 0 或者极低这是“消费故障型”积压必须立刻找消费端哪里出了问题。判断消费能力用命令行工具看消费状态同时观察消费者进程本身运行是否正常。消费状态里可以看到每个客户端实例的消费位点、拉取位点、队列分配情况以及在线的消费者列表。如果某个实例迟迟没有上报位点同时队列分配集中在剩余几个实例上大概率是某个消费者实例已经挂掉或者卡死触发了队列的重新分配Rebalance而新分配的实例还没来得及追上。接下来要确认消费耗时。一个常见的排查姿势是在业务代码里给消费逻辑加上埋点日志打印单条消息的处理耗时。别小看这个动作很多积压的根源就是消费逻辑里某个环节从平均 50ms 涨到了 800ms比如下游数据库出现慢查询、Redis 热点键超时、外部 RPC 接口抖动。耗时一长线程池被占满新消息拉出来了也排不上队整体消费 TPS 自然往下掉。这里我分享一个我自己的排查习惯先把消费线程池核心数和最大数、当前活跃线程数、队列长度这些指标用 JMX 或可视化工具拉出来看一眼。如果活跃线程数始终等于最大线程数并且阻塞队列一直有等待任务说明你的消费线程已经被卡住了消费耗时变大是果线程耗尽才是表象。这时再去逐层排查消费逻辑里是什么拖慢了速度。我遇到过最典型的一次是业务方在消费逻辑里同步调了下游的“用户等级判定”接口平时就 30ms 左右结果那天数据库连接池被打满接口耗时涨到 5 秒消费线程很快全部卡住。最后那个系统的积压从 0 涨到 30 万只用了不到半小时。所以排查积压一定要先看消费链路上游的健康度而不是一上来就调 RocketMQ 参数。2.3 逐个环节扫描实例、队列、消费组一个都不漏确认消费能力有问题之后就开始做系统性扫描我习惯按“实例层、队列层、消费组层”三步走。实例层排查消费者进程的资源占用和健康度CPU 利用率是否长期跑满、JVM GC 是否频繁、线程池有没有大量拒绝任务、机器网络吞吐有没有异常。这一步可以用 Arthas 或者 jstack 直接抓线程栈看看消费线程到底阻塞在哪个调用点上。我得提醒一句很多开发者会忽略机器网络本身消费组所在机器的带宽打满也会让拉取速度急剧下降这种积压你光看业务日志完全看不出来。队列层排查从 Broker 侧看每个 Topic 队列的积压分布。用命令或者 Dashboard 把每个队列的位点差单独列出来如果积压均匀分布在所有队列大概率是整体消费能力不够如果积压集中在一两个队列就要考虑消息分配是否不均匀或者有没有某个队列对应的消费者实例出问题。我在实战里见过最离谱的情况是某个消费者实例所在机器磁盘满了ReBalance 之后它的队列迟迟分配不出去结果积压全堆在少数队列上。消费组层排查要看有没有多个消费者实例订阅了同一个消费组但它们实际处理逻辑却不一样。由于 RocketMQ 中同一个消费组内消息会被负载均衡地分到所有实例上如果某个实例的代码逻辑有问题比如它消费失败率高或者处理特别慢整体消费能力就会被这个“木桶短板”拉低。这类问题尤其容易出现在没有做灰度隔离、新老版本共存一段时间的系统里。3. 解决消息堆积的四个层次优化、扩容、兜底、治本3.1 消费端优化先把单条消息的消费速度提上去在扩容和重置位点之前我强烈建议先做一轮消费端优化因为同样一条消息你要是能把它处理得更快积压自然就消化得快。第一个可以动的是消费线程数。RocketMQ 的 DefaultMQPushConsumer 默认消费线程数在 20 左右你可以按实际 CPU 核数和业务逻辑调整。设置方式是在代码里指定consumer.setConsumeThreadMin(20); consumer.setConsumeThreadMax(64);注意线程数不是越大越好如果业务逻辑里有锁、有数据库行锁竞争、有外部接口阻塞线程数拉高反而会增加等待和上下文切换TPS 未必上行。一般建议先从 30 到 50 之间开始调整观察消费 TPS 和 CPU 使用率找到一个拐点。第二个是批量消费。RocketMQ 的 DefaultMQPushConsumer 默认一次拉取的消息数不多如果你每条消息的处理逻辑都包含网络 IO可以考虑开启批量消费。设置参数是consumer.setConsumeMessageBatchMaxSize(8);批量消费适合那种可以攒一批再处理的消息类型比如批量写数据库、批量调批量接口。但如果一条消息本身的处理就涉及事务性操作批量反而难处理因为你要自己保证批内消息部分失败时的重试语义。这一步没有万金油需要按业务形态取舍。第三个优化点才是重点消费逻辑本身。把消费逻辑里的外部 RPC 调用从串行改成并行能走本地缓存的一定要走缓存能合并到批量查询的不要一条一条查数据库能异步化的非关键步骤丢到独立线程池里执行不让它卡消费主流程。很多时候消费耗时的瓶颈根本不在 RocketMQ 上而是业务代码自己把链路拉长了。你要记住消息积压只是表象消费端处理能力才是真正的核心瓶颈。3.2 扩容的正确姿势别只盯着机器数量消费端优化做完还不够如果积压量很大比如几十万上百万条光靠提高单机消费速度可能需要几个小时才能消化这时候就得考虑扩容。但扩容前先记住一句话RocketMQ 的消费并行度由队列数量决定机器数量只影响单台机器上的并发线程数机器再多也突破不了队列总数的上限。具体来说如果你 Topic 的读队列数是 8当前有 8 台消费者实例那么每台实例各消费 1 个队列扩容到 16 台实例也只能让 8 台实例干活剩下 8 台不会有任何消费行为。所以扩容集群前先确认 Topic 的队列数量是否足够。查看和修改队列数的办法是利用管理工具或者 Dashboard 更新 Topic 配置把读队列数从 8 调整到 16、32甚至更多。但是有一个极其重要的坑如果业务里用到了顺序消息你就不能随意改动队列数。因为顺序消息依赖消息队列选择规则比如按业务主键 hash 到固定队列一旦队列数变化hash 分布就会重新洗牌原来同一个业务键的消息可能被分配到不同队列破坏局部顺序。这种情况下扩容消费者实例并不能提升并行度因为同一个队列同时只允许一个消费者实例消费而顺序消息又不能让多个线程并发消费同一个队列。遇到这种场景更合理的方案是业务层面拆分 Topic把不同业务域的订单消息拆到不同 Topic每个 Topic 可以有独立的队列数和消费者实例这样既保证业务内顺序又提升了链路整体并行度。还要注意扩容消费实例之后一定要重启或者触发 rebalance让新实例能真正分到队列。很多团队给容器平台扩容了 Pod 数量但因为 RocketMQ 客户端实例注册有延迟新实例没有及时拿到队列分配旧实例依然在扛压力。通过 consumerStatus 命令可以确认每个实例当前分到的队列数量看到分配均衡后再下结论。3.3 紧急兜底重置位点、死信处理和临时降级有些积压场景时间紧、任务重比如大促时积压了几百万条消息但业务要求 10 分钟之内恢复这时候免不了要做一些“非常规”操作。必须说清楚这类操作有副作用一定要在确认业务可接受、并且有人审批的情况下才能执行。最直接的兜底操作是重置消费位点也就是把消费组的消费进度直接调到最新位点。这样积压的历史消息就不消费了相当于放弃了旧消息只从当前时间点往后消费新消息。具体命令# 重置消费位点到一个较早或较新的时间点需要用时间戳单位毫秒 mqadmin resetOffsetByTime -g 消费组名 -t Topic名 -s 当前时间戳 -n nameserver地址这个操作一旦执行消费进度就跳到指定时间点历史消息不会进入正常消费流程。所以你一定要问清楚业务方这些积压消息里有没有必须处理的订单、扣款、补偿类消息如果丢弃会造成数据不一致那绝对不能盲目跳过。我见过有的团队为了快速恢复系统直接 reset 了一大堆交易消息事后发现大量订单状态没更新只能靠人工跑批补偿折腾了整整两天。死信队列的处理也需要配套进行。积压期间很多消息会经历 16 次重试最终进入死信队列这些消息如果业务上还有价值就要写一个专门扫死信队列的程序把消息捞出来重新投递到正常 Topic 或者直接调用补偿接口。我在后面会专门讲到死信排查这里想强调的是死信不是终点务必清零。临时降级指的是在消费端代码上做个方案开关把非核心逻辑临时关闭。比如消费订单消息时原本需要同步调用积分服务、短信服务、审计服务在堆积严重时只保留订单状态更新这个核心动作其余全部降级或异步化。这种做法能迅速把单条消息的处理耗时降下来相当于给地漏临时加大排水口径先把水位降下去等活动峰值过去再恢复完整链路。这个思路在电商大促场景下非常常用前提是业务方同意非核心逻辑的延时执行并且有补偿机制。3.4 治本容量规划、隔离与链路治理应急处理完更要回头思考一个问题为什么这次会堆积如果只是流量突然翻倍那下一次流量再翻倍怎么办消息堆积治理的治本方案其实就是容量规划和系统性隔离。容量规划层面要对核心 Topic 做生产流量峰值的预估并按照这个峰值预留消费能力。一般建议消费端的处理能力要比预估峰值高出 30% 到 50%再加上弹性扩容的能力保证突发流量增长时能快速补充消费实例。这里我推荐定期对消费端做压测用压测工具向指定 Topic 灌入平时流量的 2 到 3 倍消息观察消费 TPS、积压曲线和消费耗时把每个业务链路的容量基准摸出来。有了基线后面再谈扩容和告警阈值才有参考意义。隔离层面我提倡把一个大的 Topic 按业务重要性拆开。比如订单系统可以拆成“订单核心状态消息 Topic”和“订单营销通知消息 Topic”前者消费端配备了更高的机器规格和更完善的监控后者消费端即便堆积也不影响主流程。这种拆分的本质是把资源隔离和治理边界划清楚避免一条慢业务拖垮所有消费组。你如果做过 RocketMQ 选型对比就会发现类似这种基于 Topic 进行业务隔离的能力RocketMQ 相比另一些消息队列更灵活这也是当时很多人选它的原因之一。链路治理层面要把消费端对下游的依赖做分级。能降级的降级能异步的异步能做成轮询补偿的就别用同步强依赖。我在一家公司做技术负责人那会儿团队约定所有消费逻辑不能超过三个依赖调用每多一个依赖就得写一个独立降级方案。这个约定后来挽救了无数个大促夜因为真正引起积压的从来不是消息中间件自己而是消费逻辑里那些脆弱的远程调用。4. 实战案例复盘和日常预防体系4.1 一次大促消息堆积处置流程复盘讲一个很典型的场景。某次大促预热期订单系统流量瞬间翻了三倍用 Dashboard 看消息积压数字从个位数一路涨到近 80 万消费组的消费 TPS 却在持续探底。当时负责的同学第一反应是给消费者集群扩容但扩容完 15 分钟积压不但没降反而还在涨。后来排查发现Topic 队列数只有 8扩容后的 20 个应用实例有一大半是空闲的真正干活的只有 8 个实例。处置过程我尽量还原大家看这个顺序先看 Dashboard 确认积压分布发现每个队列积压都很高排除单个队列异常再查消费者实例状态发现部分实例 CPU 使用率长时间超过 80%消费线程大量阻塞随后抓线程栈定位到消费逻辑中调用的库存服务接口耗时飙升单次调用从 50ms 涨到了 2 秒以上。这时候做两件事一是在配置中心打开降级开关让消费端跳过几个非核心的校验逻辑和营销同步二是把 Topic 队列数提升到 32然后给消费者集群扩容触发一次平滑 rebalance。降级开关一打开单条消息耗时就降下来了消费 TPS 从 200 涨到接近 1500。队列扩容后32 个消费者实例各占一个队列整体并行能力也上来了。差不多 40 分钟以后80 万积压被彻底消化完系统恢复平稳。这次复盘让我拿到的教训很深刻扩容前不看队列数等于白花钱消费逻辑里的非核心依赖在流量尖峰时要能一键摘除。4.2 日常可落地的监控告警和预防措施处理完了一次事故接下来要做的是不让同样的问题在下次发生。消息堆积的监控体系我建议至少包含三个维度积压量、消费能力、异常率。RocketMQ 自身提供的 Dashboard 可以看消费组的 diff 数据但更推荐把指标接入 Prometheus搭配 rocketmq-exporter 采集 Broker 端的消息积压、生产速率、消费速率等指标。rocketmq-exporter 的安装其实不复杂准备好 nameserver 地址和 exporter 的配置文件部署成一个单独服务然后在 Prometheus 里添加抓取任务即可。这个过程官网文档挺清楚照着做基本没坑唯一要注意的是 exporter 版本和 RocketMQ 服务端版本最好保持一个大版本内一致否则偶尔会出现指标抓取不到的兼容问题。监控面板搭好之后告警规则要定得有层次。最核心的几条我通常这样配消费组积压量超过 5000 条且持续 5 分钟告警一次消费组消费 TPS 掉到 0 时秒级告警消费失败率或重试次数在短时间内翻倍时告警。积压量这种指标不要设置太低的阈值否则系统一抖动就告警告警轰炸反而让人麻木消费 TPS 为 0 这种指标则必须配置秒级或分钟级告警因为这意味着消费链路完全瘫痪。除了监控告警日常也要做定期的存量巡检。我建议每周挑一个业务低峰时段自动跑一遍主题消费组位点巡检脚本把积压量超过阈值的消费组列表拉出来给研发同学确认原因。这么做的好处是很多小问题在变成事故前就被发现了比如某个消费组由于代码发布失败一直没启动如果没有巡检它可能会在你大促前几天才被注意到那种被动局面大家都不想经历。4.3 消息堆积问题速查表最后整理一个速查表大家可以把这张表贴在团队文档里线上出问题时照着对一遍能省不少排查时间。现象常见原因快速处理建议整体积压持续上涨消费TPS正常生产流量峰值超过消费能力扩容消费者或增加队列做好流量预估整体积压上涨消费TPS接近为0消费端故障、线程池阻塞或实例宕机抓线程栈、查日志先恢复消费能力积压集中在单个或少量队列消息分配不均、对应实例异常查看队列分配情况检查实例健康度积压数字一直波动但实际消费正常监控统计延迟或消费组名配置错误用命令行查看真实位点校准监控配置消费失败率高重试队列积压上升下游依赖异常、业务逻辑抛错检查异常堆栈隔离或降级失败逻辑扩容消费者实例后积压没下降Topic队列数不足或rebalance未触发增加队列数确认实例都分配到了队列死信队列消息越积越多重试次数耗尽仍未成功查死信消息内容写补偿程序人工处理这张表不可能覆盖所有场景但覆盖了我在实际运维中遇到的大多数问题。大家在做技术方案、写复盘文档时也可以把类似表格放进去让新人接到告警时知道从哪里入手。最后再分享一个经验。消息堆积处理得多了之后你会发现真正需要你直接用“重置位点跳过消息”来救场的场景很少绝大多数情况下是消费逻辑本身有退化点或者容量预估远远不足。所以与其练一手骚操作不如老老实实把消费链路做可靠把监控做灵敏把预案做细。RocketMQ 消息堆积这道面试题能回答到“从原理分析到应急处理、再到预防体系”这个颗粒度面试官看到的就不只是你会用工具而是你在真实系统里扛得住事。