CircularNet 工作原理：基于掩码检测与实例分割的 MRF 废弃物分析系统

CircularNet 工作原理基于掩码检测与实例分割的 MRF 废弃物分析系统【免费下载链接】modelsModels and examples built with TensorFlow项目地址: https://gitcode.com/GitHub_Trending/mode/models本文基于 TensorFlow Models 仓库中official/projects/waste_identification_ml项目的官方文档完整解析 CircularNet 废弃物分析系统的架构组成机器视觉相机、计算单元、ML 模型、报表看板、模型训练与自动标注流程以及拍照—推理—入库—可视化的端到端数据链路并结合仓库中的自动标注管线auto_labeler_pipeline、推理标签代码model_inference/labels.py与重训练配置model_retraining/config/config_v1.yaml说明其底层实现。读完后你将能够理解 CircularNet 四大组件的协作方式并知道如何利用自动标注、模型微调与部署管线适配自己的废弃物流。一、系统总体架构四大关键组件CircularNet 是一个将计算机视觉与机器学习相结合、用于优化回收流程的废弃物分析系统。根据官方文档 how-cn-works.md实现 CircularNet 需要四个关键组件机器视觉相机Machine vision camera专用相机负责捕捉传送带上物料的高分辨率图像即使在废弃物高速移动的条件下也能保证图像质量。虽然 CircularNet 也能处理来自手机或 GoPro 等相机的图像但对于运动物体官方推荐使用配备**全局快门global shutter**的机器视觉相机以获得最佳效果。计算单元Computational unit图像分析组件承载经过训练的 ML 模型完成物料识别与分类。根据部署场景不同计算单元可以是以下三者之一边缘设备Edge device在现场进行实时处理云端方案Cloud-based solution可弹性扩展的远程处理自建服务器Your own server对基础设施拥有完全控制权。机器学习模型ML models这些预训练模型是 CircularNet 的心脏它们使用基于掩码mask-based的图像分析算法来识别并分类废弃物流中的物料及其形态。从项目 README README.md 可以看到CircularNet 当前构建于RF-DETR——一种同时具备目标检测与实例分割能力的视觉 Transformer 模型之上。其输出分为两个维度Material Type物料类型识别对象的材料类型金属、纸张等对塑料还会进一步识别树脂类型HDPE、PET、LDPE 等Material Form物料形态按形态因子杯、瓶、袋等对对象分类推理标签示例Plastics-PET_Bottle。推理阶段标签体系由 CSV 文件加载并组合而成labels.py 中的load_labels()会读取类型与形态两个标签列表在各自头部插入无检测类Na再做笛卡尔积生成类型_形态形式的联合标签如Plastics-PET_Bottle最后通过categories_dictionary()映射为id - {id, name, supercategory}的字典供模型输出解码使用。报表看板Reporting dashboard原始图像与分析结果被汇总到一个可视化看板中提供物料、分类及各类洞察的明细拆解帮助你做出数据驱动决策改进分拣与回收流程。分析结果会系统性写入BigQuery数据表再由Looker看板进行可视化呈现支持自定义报表。官方提示分析结果可以流式输出到任意云平台或自建服务器上的看板仓库文档针对在Google Cloud上部署看板提供了专门说明。二、模型训练基于掩码的识别与分类2.1 预训练基础CircularNet 的机器学习模型采用视觉掩码算法用于识别并分类废弃物流中各种各样的物料。这些模型已使用来自多个**物料回收设施Material Recovery Facilities, MRF**的图像进行了预训练覆盖多种废弃物成分组合因此开箱即可使用。2.2 三种数据增强来源预训练模型虽然可以直接使用但你可以通过继续训练来进一步提升性能以便针对特定物料类型优化或适配所在地区/部署区域独特的废弃物流特征。继续训练需要采集并标注额外图像主要来源有三类MRF 图像直接在 MRF 传送带上拍摄并打标签的图像Google 内部标注由 Google 专门团队人工标注的图像自动标注Automatic annotation处理脚本自动标注已分类物料图像聚焦 PET、铝罐、纸箱等常见类型。下图展示了模型对传送带上经过的铝罐图像执行掩码检测mask detection的效果图 1模型对传送带上经过的铝罐图像应用掩码检测原文档 Figure 12.3 自动标注流程的三步任务文档描述了自动标注流程涉及的三项任务生成掩码为图像中的对象生成掩码根据图像复杂度选择边界框bounding box或更精确的掩码检测过滤与清洗对生成的掩码进行过滤和清理去除重复或错误生成最终训练集将标注结果加入形成最终训练数据集。数据准备完成后ML 模型用其进行训练学习如何在新的真实场景中识别物料。2.4 仓库源码印证SAM3 自动标注管线上述自动标注流程在仓库中有完整落地位于 auto_labeler_pipeline/ 目录由 main.sh 串起 4 个阶段脚本中set -e保证任一阶段出错即中止阶段脚本作用1/4filter_sparse_images.py将检测对象数少于min_detections的图像移出至root_dir_empty目录避免后续阶段在近乎空帧上浪费 GPU 时间2/4split_train_val.py按keep_every_nth抽稀如每 6 帧保留 1 帧并按train_ratio切分 train/val3/4segmentation.py对每张图像运行 SAM3裁剪出每个检测对象直接写入分类器可用的root_dir_classifier/{train,val}/class/目录结构4/4augment_train_split.py仅对 train 集应用配置的增强翻转、旋转、模糊、噪声、色度抖动管线行为由 config.yaml 集中控制且在启动时即校验出错不会在漫长的 GPU 运行中途失败。关键参数包括root_dir父目录每个子文件夹被视为一个类别one subfolder per datasetsam3_checkpoint_pathSAM3 模型检查点绝对路径prompt_to_detect本次运行要标注的对象类别必须与prompts:下的某个键一致该配置同时选定检测阈值与增强集合prompts.类.detection每类对象的confidence_threshold、score_threshold、containment_threshold去重包含阈值示例值为 0.98、max_short_side1024、crop_size256×256prompts.类.augmentations可用增强名vflip/hflip/rot45/rot65/rot90/blur/noise03/noise06/cjitter在代码中固定配置文件只做勾选keep_every_nth示例为 6、train_ratio示例为 0.10即 10% 训练、90% 验证注释说明这是刻意保留的、min_detections示例为 2、crop_variantsraw/black_background/imagenet_mean_background三选一或多选多选时每变体一个子目录、max_cpu_workers与queue_maxsize裁剪保存的 CPU 线程池与背压队列大小。从 segmentation.py 的模块注释看GPU 推理在主线程顺序执行CPU 侧裁剪保存通过ThreadPoolExecutor加手动 future 背压完成——这与过滤清洗—生成掩码—组织训练集三步文档描述相印证。此外仓库还保留了 Auto_Annotation_FastSAM.ipynb、Auto_Annotation_SAM.ipynb、SAM3.ipynb 等交互式标注 notebook以及 auto_labeler_pipeline_rfdetr/ 目录下的 RF-DETR 变体管线可作为同一思路的不同实现参考。三、将模型应用到你的数据相机采集到你的废弃物流图像或视频后即可投入 CircularNet 模型工作。完整链路如下上传与推理将采集到的文件上传到部署了 CircularNet 的服务器系统对每一帧图像或视频帧执行分析。模型利用所学到的知识识别并分类废弃物流中存在的各类物料及其形态可根据需求与部署约束选择实时或批处理方式。结果入库分析结果包括每个检测对象的物料类型、形态等明细被系统性组织并存储到BigQuery数据表。看板可视化这些结构化数据驱动Looker看板你可以通过综合报表与洞察性可视化访问数据创建自定义报表使分拣与回收运营更高效。仓库中对应的实现代码包括推理侧model_inference/ 目录提供 TensorFlowInference_Tensorflow.ipynb与 PyTorchInference_PyTorch_experimental.ipynb两套推理 notebook配套preprocessing.py/postprocessing.py含对应测试与color_and_property_extractor.py颜色与属性提取以及 cn_model_run.ipynb 用于运行模型。微调/重训练侧fine_tuning/ 目录提供 RF-DETRFinetune_RF-DETR.ipynb、TF-Mask-RCNN、PyTorch 图像分类器与 DINOv3 分类器等多条微调路线model_retraining/ 目录下的 CircularNET_Vertex_AI_ReTraining_v1.ipynb 给出在 Vertex AI 上重训练的完整示例。重训练配置示例config_v1.yaml 是一份 Mask RCNN 风格的训练配置可从中看出重训练的关键控制点任务级freeze_backbone: true冻结骨干、只训练上层、init_checkpoint_modules: all、include_mask: true启用掩码头、num_classes: 19、输入尺寸[512, 1024, 3]、全局批大小global_batch_size: 16file_type: tfrecord、训练步数train_steps: 160000损失与采样RPN 与 FRCNN 各损失权重rpn_box_weight、frcnn_class_weight、mask_weight等、ROI 采样阈值foreground_iou_threshold: 0.5、background_iou_low_threshold: 0.0、num_sampled_rois: 512优化器SGDmomentum: 0.9配合分段常数学习率在 step 15000/20000 处从 0.2 衰减到 0.02、0.002与 500 步线性 warmupwarmup_learning_rate: 0.0067运行时num_gpus: 4、distribution_strategy: multi_worker_mirrored、enable_xla: true。从该配置结构看重训练是在既有实例分割架构上冻结骨干、以 tfrecord 标注数据继续训练的典型流程与文档中继续训练以提升特定物料或地区适应性的说法一致。四、后续步骤官方文档给出的进阶路径均已转换为仓库内相对路径了解 CircularNet 提供的部署方案为你的需求搭建硬件方案了解如何在 Google Cloud 或边缘设备上部署 CircularNet了解如何准备数据并使用模型分析图像了解可视化看板以获取分析与报表五、小结CircularNet 的相机—计算单元—掩码分割模型—BigQuery/Looker 看板四层架构把 MRF 传送带上的图像转化为可量化、可报表的物料构成数据其预训练模型基于多 MRF 图像并支持通过 MRF 实拍、人工标注与 SAM3 驱动的自动标注管线过滤—切分—分割—增强四阶段持续扩充训练数据。结合仓库中model_inference、data_generation与model_retraining三个目录的源码可以完整复现从采集一张传送带照片到在看板中查看分类统计的整条技术链路。【免费下载链接】modelsModels and examples built with TensorFlow项目地址: https://gitcode.com/GitHub_Trending/mode/models创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考