1. 项目缘起木材板材计数为什么是个真需求先聊一个挺现实的问题你到底有没有在板材加工车间待过如果没有我建议你去一次站到垛料区旁边看十分钟就行。你会发现一个很有意思的场面——工人手里拿着计数器或者直接在纸板上画“正”字对着码放整齐的板材一层一层点数。速度快的老师傅数一垛两米高的板材大概要两三分钟但数完经常被质检员拉回来重新核对因为层与层之间的板子厚度公差、端面错位、光线阴影都会让肉眼漏数或多数。这种场景在刨花板、密度板、胶合板、饰面板的出厂环节几乎天天上演。我自己接过一个来自某板材加工厂的改造需求他们的出厂统计环节每天要处理几百垛板材靠人工点数不只是慢更大的问题是和ERP系统之间的数据流转靠手写单据二次录入一个月的错账率在百分之三到五之间月底对账的时候财务和仓库互相扯皮。厂里领导最初的想法是买现成的光电计数器但方案论证之后发现这类设备对板材的堆叠姿态、端面齐整度要求极高稍微有点错层就误触发压根指望不上。后来我们把方案改成了机器视觉——在垛料区的固定工位架一个摄像头用深度学习模型对整垛板材的端面做实例分割逐层识别板材轮廓自动计数并输出结果。这就是“基于Mask R-CNN的木材板材智能计数与识别系统”这个项目的由来。这里要说清楚一个容易混淆的概念板材计数不是简单的目标检测任务。目标检测只能告诉你“这里有一块板”而实际垛料场景中板材是一层层紧密贴合的每块板的侧面在图像里就是一条细细的长条区域相邻板的边缘可能只有几个像素的间隔。如果只做检测框模型会对“一块板”的定位非常模糊框会互相重叠后处理很难把边界剥离干净。所以我们需要的是实例分割——不仅找到每一块板还要把每一块板的像素轮廓完整抠出来。Mask R-CNN正好是干这个的它在 Faster R-CNN 的检测分支基础上加了一个并行的掩码分支对每个检测目标输出一个像素级的二值掩码。有了掩码相邻板材的交界处就有了明确的像素归属计数准确率能上好几个台阶。这篇文章不打算泛泛讲原理我会把整个项目的推进过程完整拉一遍数据怎么采、标注怎么做、模型怎么调、训练踩了哪些坑、部署用了什么方案以及最后实际跑出来的效果。如果你正准备做类似的工业视觉计数项目或者想了解Mask R-CNN在密集小目标场景下的真实表现这篇文章应该能帮你省掉不少冤枉路。2. 整体方案选型为什么是Mask R-CNN而不是别的2.1 任务场景的特殊性分析先把这个任务的特征拆开看很多选型上的纠结其实来自对场景特征理解不到位。第一前景和背景的区分难度不算大但实例之间的边界非常模糊。板材端面在图像中呈现为长条形区域颜色和纹理高度一致不同板材之间的区分不是靠“长得不一样”而是靠“位置和边缘”。用人话说你要识别的不是“这是什么”而是“这有几层”。第二计数场景需要稳定的边缘分割精度。一个垛位上百块板任何一块板的边缘误分割都可能导致计数错误。Mask分支提供的像素级掩码能把边缘归属精确到像素这是检测框方案做不到的。第三板材堆叠存在各类干扰错层、斜放、端面脏污、胶线残留、逆光阴影。这些干扰不会因为换一个模型就消失只能靠更精细的掩码预测和更强的数据增强来扛。基于这三点方案空间其实就收窄了。纯分类网络解决不了定位问题YOLO系列虽然快但实例分割能力弱只有 YOLOv5-seg 这一脉勉强能用但当时它刚出来不久文档和社区积累都不够。两个阶段的检测器两阶段先提候选框再对候选框做分类、回归和掩码预测在密集目标场景下天然更稳因为RPNRegion Proposal Network会先筛选出高质量的候选区域后续的掩码分支只在候选区域内做精细分割计算负担和误检率都比单阶段模型可控。所以最终定了Detectron2框架里的Mask R-CNN骨干网络用ResNet-50-FPN训练和推理都在这套框架内完成。2.2 为什么不用纯传统视觉方案可能有人问板材端面这么规整用边缘检测加直线拟合直接数层不就行了我确实先试过这条路。传统方案在理想样本上效果不错拉普拉斯边缘提取、形态学闭运算、霍夫直线检测三条路走下来在光线均匀、端面干净、板材完全对齐的“完美图”上能数对八九成。但一换到实际车间就崩了原因集中在几点车间自然光变化大上午下午同一位的光照角度不同边缘提取的阈值无法自适应板材端面常带有锯痕纹理这些纹理在边缘检测里会产生大量伪边缘堆叠错层时会形成板材侧边和端面的混合区域直线拟合容易被长斜边带偏。传统视觉方案的核心问题在于它依赖“边缘是干净的”这个假设而工业现场恰恰最不满足这个假设。深度学习方案的容错性来自数据驱动——不是你去定义什么是边缘而是模型从大量标注里自己学出“在复杂背景下什么是板与板的分界”。这个区别在这个项目里是决定性的。2.3 替代方案的横向对比我把当时的候选方案整理成了一个表格方便你直观对比方案核心技术优点短板适用前提传统边缘直线拟合Canny/Hough无需训练、速度快抗干扰差、准确率上限低光照可控、端面干净YOLO系列单阶段检测推理快、部署轻实例分割精度有限、小目标密集场景不稳定实时性要求极高的场景Mask R-CNN两阶段掩码分支分割精度高、密集场景鲁棒推理速度慢、显存占用大离线/近实时计数、精度优先纯语义分割如U-Net逐像素分类端到端、没有框的困扰不区分实例无法直接计数单块板整体分割最终选Mask R-CNN核心原因就是精度优先。计数任务每错一块就是事故推理慢个一两秒完全能接受。这也是我特别想强调的选型原则不要盲目追新先看你的瓶颈是精度、速度还是部署复杂度。这个项目的瓶颈明明白白就是精度。3. 数据准备与标注一个容易被低估的重头戏3.1 数据采集的工程化设计很多第一次做视觉项目的人会把注意力全放在模型上觉得数据就是“多拍几张照片”。实际做下来你会发现数据采集的工程化设计直接决定模型的天花板。我们当时在垛料区架了一台固定工位相机选了500万像素的工业面阵相机配8mm定焦镜头拍摄距离大概1.5米到2米。这里有几个参数选择值得说道分辨率500万像素2448x2048的目的是保证单块板材端面在图像中至少占50像素以上的宽度。板材厚度常见18mm和25mm两种规格对应到图像里就是40到80像素低于这个分辨率掩码的精细度就无从谈起。帧率不需要高帧率计数是离散动作需求是拍一张清晰的、包含整个垛面的照片而不是连续视频流。所以相机工作在单次触发模式由人工按键或光电传感器触发。镜头焦距8mm定焦能覆盖一个约1.2米见方的垛面畸变不大且景深足够。千万不要用广角广角边缘畸变会让板材直线边缘变成弧形直接干扰掩码形态。数据量方面我们采集了大约1200张现场照片覆盖了不同光照时段、不同板材规格、不同堆叠姿态以及一些错层较明显的“坏样本”。这里有个经验值工业场景下实例分割模型数据量不是多多益善而是“关键变化全覆盖”。同一光照条件下拍200张相似照片对模型提升远不如同一垛板换5个角度拍5张来得大。所以采集时要有意识地制造多样性而不是机械地按快门。注意数据采集的一个大坑是只拍好看的照片。车间里真实的板材端面经常有锯屑、灰尘、污渍、甚至打包带的残留这些在模型眼里都是噪声。如果你只采集“干净”样本模型上线第一天就会被现实教做人。所以在采集清单里一定要包含一部分“脏样本”和“极端样本”哪怕看起来不好看。3.2 标注规范与工具选择数据标注我们用的是Labelme因为Detectron2的COCO格式标注和Labelme导出的JSON之间有成熟的转换脚本省去不少麻烦。标注规范上我们定了几个硬性规则每块板材只标一个多边形沿着可见的端面边缘走把整块板的可见区域包住板材之间有错层时上层板遮蔽下层板的部分不标只标可见区域板材端面的脏污区域不影响掩码标注只要板体轮廓清晰就行靠近垛体边缘被截断的板材如果可见面积超过整体的一半照常标注否则跳过。这里要注意一个细节标注多边形的顶点数不要过于密集。有些人喜欢把边缘抠得非常细每个锯齿纹理都用一个顶点表示这会让模型学到过于“尖锐”的边缘形状反而不利于泛化。我们要求每条长边用3-5个顶点就够关键是把板材的走向和边界位置标准而不是把纹理都描进去。1200张图每张图平均80块板总共标注了接近十万个实例。听着很吓人但实际用了三位标注员大概两周时间因为板材端面的实例结构相对简单熟练之后一张图也就15分钟。如果人力实在有限也可以先用一个粗模型做自动预标注人工只修正边缘点位这个流程能再压缩一半人力。我们是在项目中期才引入这个流程的前期如果知道能省不少事。3.3 数据增强策略Mask R-CNN自带Detectron2里配置好的数据增强管线但我们根据场景特征做了定制调整。默认的随机翻转、随机缩放保留额外加了两个自定义增强随机亮度扰动±20%模拟车间不同时段的光照变化。这个增强不需要复杂实现Detectron2的亮度变换API直接调用即可。随机平移抖动±5%模拟板材堆叠时轻微错层带来的空间位置变化。这里想强调一个反直觉的点不要加随机旋转。板材端面在物理世界里永远是近似水平的方向不可能出现旋转90度的情况。你如果加了大角度旋转增强模型会浪费大量学习能力去处理现实中根本不存在的姿态反而弱化了水平边缘这个核心特征。这种“基于场景物理约束来剪裁增强策略”的思路是很多项目提升效果最有效却最容易被忽略的手段。4. Mask R-CNN核心原理与关键参数选择4.1 一张图看懂Mask R-CNN的工作流程Mask R-CNN的工作流程可以简化成四步骨干网络ResNet-50-FPN提取整张图的特征FPN特征金字塔网络保证不同尺寸的目标都能获得合适的特征层级RPN在特征图上生成可能包含目标的候选框这个阶段不需要特别精确只需要“召回”足够多的候选区域RoIAlign兴趣区域对齐把每个候选框对应的特征图区域缩放到统一尺寸这是Mask R-CNN相比Faster R-CNN的关键改进之一它用双线性插值解决了RoIPool的像素错位问题每个固定尺寸的特征区域并行通过三个头分类头判断是什么、框回归头修正候选框位置、掩码头逐像素预测二值掩码。这里面最核心的两个设计一个是FPN另一个是RoIAlign。FPN让模型既能检测小目标通过高层语义特征映射到大分辨率特征图也能检测大目标低分辨率高语义特征板材端面这种细长条形状高宽比极端在不同金字塔层级上的特征表达差异很大FPN的multi-scale设计天然适合。RoIAlign解决的是边缘定位精度问题双线性插值避免了量化误差这对掩码输出质量的影响是直接可见的。如果你把掩码输出结果叠加到原图上会发现RoIAlign预测的板材边缘无论是直线度还是贴合度都比上一代RoIPool好得多。4.2 骨干网络与训练配置的权衡骨干网络选择上我们犹豫过ResNet-50和ResNet-101。ResNet-101的特征表达更强理论上精度更高但它带来的显存开销和推理耗时都明显上升。考虑到我们的目标是“近实时计数”而不是“毫秒级工业检测”刚起步时用的是ResNet-50-FPN后面为了压精度试过ResNet-101实测检出的平均精度mask AP提升大约1.2个百分点但单张图推理时间从1.8秒涨到2.5秒。最终我们还是切换到了ResNet-101因为计数任务对准确率的敏感性远高于对速度的敏感性。训练超参数的配置参数名数值说明base_lr0.00025初始学习率Detectron2默认值对800x800左右的输入尺寸匹配良好batch_size4单卡4张图显存占用约14GBRTX 2080 Ti级别max_iter20000训练迭代数大约5.5个epoch1200张图warmup_iter1000学习率预热让模型在初期稳定lr_decay15000/18000 step decay学习率阶段性衰减roi_head.batch_size_per_image512每张图采样512个RoI用于训练覆盖密集目标场景这里特别想说的是学习率和batch_size的匹配关系。Detectron2默认的学习率是针对batch_size16的设置我们只有单卡batch_size4如果直接用默认lr训练会很难收敛。线性缩放规则是目标学习率按照batch_size比例缩放从16缩到4就是除以4所以base_lr从0.001降到0.00025。这个细节直接影响训练能否收敛到理想精度在项目初期我们踩过一次坑用了默认lr训练两万步loss一直居高不下后来才意识到是学习率过大导致的震荡。4.3 损失函数与评价指标Mask R-CNN的损失函数由三部分构成L_cls分类损失判断每个候选框内目标的类别是否正确我们的场景就是“板材”和“背景”两类L_box回归损失计算候选框位置与真实框的偏移量用的是Smooth L1L_mask掩码损失对每个RoI预测的掩码和真实掩码计算交叉熵损失。训练时这三个损失的权重是1:1:1不需要额外调整Detectron2默认配置就可以。评价指标上工业项目最终要看的不是论文里那些花哨的指标而是实际计数准确率。我们在训练过程中持续监控mask AP掩码平均精度但真正用于验收的是“每垛计数误差率”预设真实层数模型推理结果与真实值的偏差。这个指标在设计评估脚本时就要想清楚不要只盯模型指标模型指标再好推理时的计数后处理逻辑跟不上还是白搭。5. 训练过程与推理后处理工程实践5.1 环境配置与训练流程复盘训练环境的配置其实没什么神秘的就是Detectron2官方文档的流程Python 3.8、PyTorch 1.10、CUDA 11.3、Detectron2主分支。有一个操作细节值得提预训练权重一定要用ImageNet上预训练的模型初始化而不是随机初始化。因为我们的数据量十万个实例但场景单一不足以支撑从头训练一个深度分割模型预训练权重的迁移能力能显著加速收敛我们的实际感受是从头训练要4万步以上才能达到预训练初始化1.5万步的效果。训练过程中我习惯每隔500步保存一次checkpoint同时记录所有loss曲线和mask AP曲线。有了这些曲线训练是否正常一眼就能看出来正常收敛的loss曲线应该平滑下降AP曲线稳定上升如果AP曲线出现V字反弹大概率是学习率过大或者数据中有错误标注。顺便说一句Detectron2的TensorBoard集成很好用强烈建议打开省得自己写日志脚本。5.2 计数逻辑从掩码到层数模型输出的是一堆掩码多边形还不能直接当作计数值。这里的后处理逻辑需要根据场景规则来设计也是我们在部署阶段花时间最多的地方。第一步过滤低置信度掩码。模型对每块板材会输出一个置信度分数我们取0.7以上才认为是有效目标。这个阈值不是拍脑袋定的是统计了验证集上置信度分布后选的既能保证不漏检召回优先又能尽量少引入误检。第二步处理掩码重叠。密集堆叠场景下相邻板材的掩码偶尔会有小面积重叠几个像素。我们设定如果两个掩码的交叠面积占两者较小掩码面积的比例低于5%就保留两者超过5%则保留置信度更高的那个。这个策略能过滤掉模型在极端错层情况下产生的“半块板幻影”误检。第三步也是最关键的一步基于空间位置排序计数。板材在垛面上是从下往上堆叠的模型本身不知道“第几层”这个信息它只输出不同实例的掩码。我们要把掩码按照其几何中心或质心的垂直坐标从低到高排序依次编号为1、2、3...直到垛顶。排序过程中还要做一层保护如果相邻两个掩码的质心垂直距离小于预期最小板厚的对应像素值按标定换算约为30像素视为同一层多段误检即一块板被横着断成两块合并为一个计数单元。这套后处理逻辑说白了不复杂但它是项目能落地的最关键一环。模型再准没有合理的计数规则输出就是一堆没什么用的掩码。这里我的经验是计数后处理一定要拉上车间老师傅一起梳理规则他们对“一层板”的定义比算法工程师清晰得多。5.3 实际效果从测试集到车间验证训出来的模型在测试集上的表现mask AP达到了92.4%COCO格式评估IoU阈值0.5-0.95平均每垛计数误差率在正常工况下低于0.5%。每垛100块板误差不超过1块大多数情况是零误差。但真正拉去车间试运行的时候第一周就暴露了一个预想不到的问题晚间灯光下模型的表现下降了3个百分点分析下来是训练数据以白天自然光为主晚间补充照明LED灯的光谱特征不同板材端面的颜色偏移导致边缘特征变化。这个问题的解决方案是在采集阶段就补充一部分晚间样本并混合进训练集。随后模型表现就稳定了。这个经历充分说明工业视觉项目里数据比模型更可能成为短板。6. 常见问题排查与避坑技巧实录6.1 显存不足小batch也能跑大模型训练阶段最头疼的问题就是显存不够。Mask R-CNN在1080Ti或2080Ti级别的卡上batch_size4基本就顶满了。如果只有一张显存较小的卡如11GB可以试这几个方案batch_size降到2同时按比例把学习率再减半把图像输入尺寸从短边800降到短边700这会略降精度但能大幅节省显存打开Detectron2的AMP自动混合精度训练很多时候能省30%以上的显存代价是精度轻微波动。我当时用了前两条代价是训练时间拉长到将近30个小时。如果这个节奏接受不了直接租用更高显存的云GPU是更省心的选择一张3090或A5000就能无压力跑batch_size8。6.2 板材错层导致的漏检从阈值到掩码分支的完整排查实际运行中最多的报障来自错层严重的垛位。板材在堆叠时如果上下层错位较多模型看到的端面就不是整齐的一排矩形而是一层凸出、一层缩进的阶梯状。最初模型的漏检主要集中在这个工况上。排查过程分了三步第一步把漏检样本单独拉出来看掩码输出发现漏检区域集中在被上层板遮挡的下层板边缘第二步检查标注数据发现错层样本在标注阶段就存在困难标注员倾向于只标凸出的板材对凹陷部分的板材标注模糊第三步针对性补充错层数据并在标注规范里明确要求错层场景下每块板都要尽力标注可见部分即使可见面积较小。经过这两个调整错层工况的计数误差率下降了一个数量级。6.3 推理速度优化从2.5秒到0.8秒推理速度的优化我们没有走TensorRT那条路因为项目对实时性要求不高。优化的重点放在了输入尺寸和批量推理上输入尺寸从短边800降到短边640mask AP掉了约1.5个百分点但推理时间从2.5秒降到1.2秒同一个垛位在同一时间只有一张图需要处理所以批量推理在这个场景用不上用上AMP推理半精度再压到0.8秒。最后这个速度完全满足现场流水节拍。这说明经验很重要先确认需求阈值再去想优化手段不要一上来就追求极致性能。很多项目死在过度设计上而不是死在不优化上。6.4 现场部署的工程细节部署环节我特别提三点相机安装高度和角度的标定是决定系统稳定性的基础。我们用了标定板对相机做畸变校正和像素-物理比例标定确定每像素对应多少毫米这样后处理的“最小板厚”过滤规则才能写成物理参数而不是魔法数字。系统上线前做了两轮“压力测试”让现场工人按最快速度连续计数20垛记录系统的漏检、误报和处置时间。这个测试能暴露很多平时测试集测不出来的问题包括相机触发延迟、反光干扰、甚至连接口稳定性问题都能暴露出来。最后系统一定要设计成“辅助人而不是替代人”的模式。我们在界面上展示每一垛的识别结果叠加图计数结果需要工人确认后再回传ERP。这样做的好处是出了问题能第一时间人工干预而不是完全黑盒运行工业现场对黑盒系统的信任从来都是逐步建立的。7. 后续扩展空间这个项目还能怎么延伸项目交付后我又陆续在这个方向上做了些探索有些已经落地有些正在验证分享出来供你参考。第一多规格板材自适应。目前系统针对18mm和25mm两种厚度标定过如果增加更多规格可以扩展为按厚度分类计数输出更细粒度报表。这需要在训练集中加入不同厚度的样本并让分类分支输出厚度类别而不是单一的“板材”类别。第二缺陷检测与计数的一体化。板材端面有时会有明显的崩边、裂纹、胶线溢出这些特征在掩码边界上会有异常形态。如果训练数据中包含带缺陷的样本理论上可以用同一套分割结果做缺陷粗筛。但要注意这属于额外的分类任务需要在掩码特征之上设计一个缺陷分类头别指望分割模型自己会“看出”缺陷。第三边缘计数的实时化改造。如果产线需要几百毫秒级响应可以把模型导出到TensorRT并用DeepStream流水线搭载Mask R-CNN系列的推理耗时能再压一半以上。代价是部署复杂度明显提升工程收益需要权衡。第四轻量化蒸馏方向。如果边缘设备算力有限可以考虑用小模型蒸馏出轻量分割模型例如用Mask R-CNN的输出作为教师信号训练一个BiSeNet或轻量分割网络保留实例分割能力的同时把推理时间降到几十毫秒量级。这类方案的精度上限会比大模型低但如果只看计数准确率合理设计后处理完全可能追平。我个人在实际操作中的体会是这类工业视觉项目最核心的能力不是把某个模型调到多高的分数而是对整个链路——从数据采集的物理约束、标注规范的业务逻辑、后处理规则的现场反馈到部署后的运维——有一个通盘的掌控能力。模型选型只是中间一环前后两端的投入往往决定了项目的最终成败。希望这篇复盘能帮你绕开我们踩过的坑至少让你在启动自己的板材计数项目时知道时间应该花在哪儿。