论文题目TM-BSN: Triangular-Masked Blind-Spot Network for Real-World Self-Supervised Image DenoisingTM-BSN用于真实世界自监督图像去噪的三角掩码盲点网络会议CVPR 2026pp. 29877–29886源码GitHub - TM-BSN摘要盲点网络BSN通过阻止网络访问目标像素实现无需干净图像真实监督的自监督去噪。但这类方法假设噪声在像素级相互独立而真实 sRGB 图像中的噪声会受到相机图像信号处理ISP流水线影响呈现空间相关性。一些方法采用下采样来降低噪声相关性但这会改变噪声统计特性并限制网络利用完整上下文信息的能力。本文提出三角掩码盲点网络TM-BSN用于建模真实 sRGB 噪声的空间相关性。该相关性源于去马赛克过程每个像素由周围样本按照随空间距离衰减的权重重建因而形成菱形分布。为使感受野与其对齐作者提出三角掩码卷积将卷积核限制在上三角区域从而在原始分辨率下形成菱形盲点。该设计排除相关像素并利用不相关上下文无需下采样或后处理。作者还使用知识蒸馏将多个盲点预测中的互补知识迁移到轻量级 U-Net以提升准确率和效率。大量真实世界基准实验表明该方法取得了当前先进性能并显著优于现有自监督去噪方法。源码已公开。一、研究背景盲点网络为什么会失效真实场景中很难获得同一张图像对应的干净标签因此自监督去噪很有价值。盲点网络BSN预测某个像素时会屏蔽目标像素只根据周围上下文估计干净信号。在噪声零均值、像素间相互独立等假设成立时这能避免网络直接复制输入。但相机需要通过颜色滤波阵列CFA采样再经过去马赛克demosaicing等 ISP 处理重建 sRGB 图像。重建过程会让邻近样本共同影响输出像素导致噪声出现空间相关性。如果网络虽然排除了目标像素却仍能看到与它噪声相关的邻域就可能把相关噪声一起重建出来。论文 Figure 2去马赛克滤波权重与真实噪声的空间相关性Figure 2 展示了邻近样本在去马赛克中的权重以及 SIDD 数据集上测得的菱形噪声相关图。作者由此提出盲区形状不仅要避开目标像素还应尽量避开与其噪声相关的区域同时保留不相关上下文。论文 Figure 1不同盲点网络的有效感受野ERF对比Figure 1 对比 AP-BSN、LG-BPN、AT-BSN 和 TM-BSN。作者指出AP-BSN 的有效上下文受限LG-BPN 的盲区不严格局限于目标区域AT-BSN 的矩形盲区也没有完全匹配真实噪声的菱形相关结构。TM-BSN 希望以更合适的几何形状排除相关噪声同时尽量保留有效信息。二、方法整体框架从三角感受野到菱形盲区TM-BSN 以 AT-BSN 为基础采用 Variational Deep Image RestorationVDIR中的复原网络骨干以避免 U-Net 池化和上采样可能引入的像素错位并将骨干中的 3 × 3 卷积替换为三角掩码卷积TMC。论文 Figure 4TM-BSN 整体网络架构Figure 4 的数据流可以概括为输入图像分别旋转 0°、90°、180° 和 270°经 TM-BSN 提取特征再通过偏移量为 s 的特征移位形成不同盲区随后将分支旋转回原方向、沿通道拼接最后使用 1 × 1 卷积得到输出。不同偏移量的预测共享特征提取过程因此生成多种盲区预测只比单次前向传播增加约 15% 的计算开销也为知识蒸馏提供了条件。三、核心模块一三角掩码卷积TMC3.1 用掩码控制信息从哪里进入普通卷积使用卷积核的全部权重。TMC 则通过二值掩码只保留卷积核的上三角区域。多层 TMC 堆叠后有效感受野逐渐扩展为构造菱形盲区打下基础。论文 Figure 3三角掩码卷积的感受野扩展与盲区形成Figure 3 展示了三角感受野逐层扩展再通过特征移位形成中心盲区的过程。TMC 决定哪些空间位置可以传递信息移位操作则进一步切断目标位置与特定区域的连接。TMC 的计算形式为其中和是输入、输出特征图(W) 是可学习的 3 × 3 卷积核(M) 是二值掩码(b) 为偏置() 表示逐元素相乘(*) 表示卷积。满足 () 的上三角位置被保留其余位置的权重被置零。作者还将特征分别向上、向右移位再拼接为 ()。偏移量 s 控制盲区大小。作者没有采用对角线移位以避免步幅加倍造成空间覆盖不连续结合四个旋转方向最终形成与真实噪声相关结构更匹配的菱形盲区。四、核心模块二多盲区预测与知识蒸馏4.1 为什么需要蒸馏不同偏移量会形成不同大小的盲区因此教师网络能从不同上下文范围得到互补的去噪预测。为降低推理成本作者将这些信息蒸馏到轻量级 U-Net 学生网络中采用 APR-RD 提出的 Recharged DistillationRD框架。RD 会随机选取部分像素把原始噪声输入中的对应像素重新注入教师预测形成学生需要拟合的目标。损失函数为这里(y) 是噪声输入() 是学生预测() 是偏移量为 () 的教师输出() 是随机二值掩码掩码为 1 的位置使用原始噪声像素为 0 的位置使用教师预测() 表示停止梯度避免蒸馏损失更新教师网络。训练时教师使用偏移量 s 5、自监督 L1 损失训练 500k 次迭代批量大小为 4输入补丁为 128 × 128学习率前 200k 次迭代为 1 × 10⁻⁴之后余弦衰减至 1 × 10⁻⁶。学生 U-Net 约有 1.02M 参数训练 200k 次迭代批量大小为 8学习率前 100k 次迭代为 1 × 10⁻⁴之后余弦衰减至 1 × 10⁻⁶。最终蒸馏偏移量集合为 S {2, 3, 4, 5, 6}。五、实验结果与消融分析5.1 数据集与评价方式论文使用 SIDD 和 DND 两个真实世界去噪数据集。SIDD Medium 包含 320 张噪声图像SIDD 验证集和基准集各包含 1,280 个 256 × 256 补丁。DND 有 50 个真实场景、共 1,000 个 512 × 512 测试补丁。DND 包含两种评估设置在 SIDD 上训练后测试 DND以及直接在 DND 上进行完全自监督训练与评估。主要指标是 PSNR 和 SSIM。5.2 主实验性能提升是否成立论文 Table 1SIDD 验证集、SIDD 基准与 DND 基准上的定量比较Table 1 同时比较非学习、监督、非配对和自监督方法。需要注意TM-BSND的主要优势是相较已有自监督方法取得更好的结果并不代表它超过了所有监督方法。在 SIDD 验证集上TM-BSND达到 38.08 dB PSNR、0.952 SSIM在 SIDD 基准上达到 38.31 dB、0.900 SSIM略高于 APRRD的 38.26 dB、0.895。在 DND 上先用 SIDD 训练时达到 38.96 dB在 DND 上完全自监督训练与评估时达到 39.41 dB、0.949 SSIM比 TBSN 的 39.08 dB 高 0.33 dB。论文还说明由于 SIDD 官方评测服务器当时不可用比较使用各方法公开的模型权重SIDD 基准 SSIM 按 Kaggle 评测中的 RGB 三通道均值计算因此绝对值可能略低于官方服务器报告。论文 Figure 5SIDD 验证集上的去噪可视化Figure 5 展示木质表面。作者指出TM-BSND去除噪声的同时较好地保留了木纹和细微结构部分对比方法存在过度平滑、细节丢失的问题。论文 Figure 6DND 基准上的去噪可视化Figure 6 展示花瓣和网格状织物纹理。TM-BSND在强噪声下仍能保留细小网格结构。Figure 5 和 Figure 6 补充说明去噪不只是让图像变平滑还需要尽量保留真实纹理。5.3 复杂度蒸馏带来了什么论文 Table 2不同方法的参数量、FLOPs、运行时间与 PSNRTable 2 在 NVIDIA GeForce RTX 3090 上使用 256 × 256 补丁测试。原始 TM-BSN 有 1.35M 参数、633.69 G FLOPs运行时间为 61.40 msPSNR 为 37.31 dB蒸馏后的 TM-BSND为 1.02M 参数、26.74 G FLOPs、3.21 msPSNR 为 38.08 dB。也就是说运行时间从 61.40 ms 降至 3.21 msPSNR 还提高了 0.77 dB。在表中列出的方法里TM-BSND的参数量、FLOPs 和运行时间最低PSNR 最高。运行时间仍受硬件、输入尺寸和测试设置影响。5.4 偏移量消融为什么不是越大越好论文 Figure 7不同训练偏移量下PSNR 随推理偏移量变化的曲线Figure 7 分别训练 s 4、5、6、7 的模型再改变推理偏移量进行评估。作者发现s 4 的盲区过小难以排除相关噪声模型容易近似复制噪声输入s 6 或 7 虽然可以避开相关噪声但也会失去有价值的近邻信息。s 5 在抑制相关噪声与利用局部上下文之间取得更好平衡因此被用于教师训练。论文 Table 3知识蒸馏中不同偏移量集合的消融结果Table 3 中S {2, 3, 4, 5, 6} 取得最佳结果38.08 dB PSNR、0.952 SSIM。扩展为 {2, 3, 4, 5, 6, 7} 后结果降至 37.91 dB、0.950包含过小偏移量的其他集合也没有超过最佳配置。作者认为偏移量过小会产生不稳定监督过大则难以利用最有价值的近邻像素。论文 Figure 8不同偏移量与蒸馏后模型的定性比较Figure 8 以文本纹理区域展示不同偏移量及蒸馏结果补充验证偏移量选择会影响噪声抑制和细节保留。结合 Figure 7 与 Table 3作者最终选择 S {2, 3, 4, 5, 6}以获得多样但可靠的教师监督。六、总结与思考TM-BSN 的关键思路是根据真实噪声的空间相关结构设计盲区而不是单纯扩大感受野或依赖下采样。三角掩码卷积逐层扩展有效感受野再结合特征移位与四方向旋转形成菱形盲区随后通过多偏移量教师预测和 RD 蒸馏将互补信息迁移到轻量级 U-Net。SIDD 和 DND 实验显示TM-BSND在多项自监督去噪比较中取得更好结果并在木纹、织物等细节上表现出较好的保真度蒸馏也显著降低计算量和运行时间。不过论文中的监督方法在部分指标上仍然更高因此不能将结果概括为“超过所有去噪方法”。适用边界本文验证的是真实世界 sRGB 图像去噪设计依据是去马赛克造成的菱形噪声相关性。三角掩码卷积或许能启发其他视觉任务但超分辨率、图像增强、目标检测和图像分割并未在本文中得到验证迁移后仍需针对任务设计训练目标并开展实验。如果只记住一句话先根据噪声相关结构设计盲区再利用多种盲区预测进行蒸馏让自监督去噪兼顾纹理保留与推理效率。