做室内重定位的人应该都碰到过这种场景机器人在地图里正常走着因为某次大旋转或者长时间遮挡里程计一漂系统立刻陷入“我在哪”的迷惑。这时候如果单靠一帧图像就能恢复到全局坐标会比任何增量式跟踪都干脆。DSAC这篇2018年的论文正是冲着这个目标去的它用场景坐标回归网络逐像素预测3D坐标再用可微RANSAC把几何约束揉进训练过程最终在室内重定位上把精度和稳定性都往前推了一步。这篇博文是我重读论文时整理的笔记把问题背景、网络细节、实验结论和一些复现心得串了一遍希望对你想读源码或者复现这篇工作有帮助。1. 先把问题摆清楚视觉重定位与场景坐标回归之间的逻辑链1.1 从“我在哪”开始重定位为什么值得单独做视觉重定位解决的是“已知环境先验信息根据当前观测恢复全局位姿”的问题严格区分于连续帧跟踪。跟踪解决的是帧间相对运动即使没有全局地图也能跑重定位则需要一个预先构建的3D模型或者至少需要一组带真值位姿的训练数据。实际系统里这两者是互补的跟踪在正常状态下给你平滑位姿一旦中断或产生累积漂移就轮到重定位接管把位姿拉回全局坐标系。这类需求在室内服务机器人、AR设备、自动驾驶地下停车场场景里特别常见。难点在于室内环境的纹理常常稀疏光照又容易剧烈变化同一个地方早上和晚上看上去像两个场景。传统方法在这样条件下很容易出现特征检测不到、描述子不匹配的情况。DSAC提出的价值就在于把场景坐标回归和可微RANSAC放在同一个端到端框架里让网络学会直接建立“像素—全局3D坐标”映射而不是绕着特征匹配走。1.2 三条技术路线直接回归位姿、特征匹配重定位、场景坐标回归在2018年前后视觉重定位的研究大致分三个方向下面把它们的逻辑和优劣摆出来。技术路线代表做法训练目标强项短板直接位姿回归PoseNet类方法用CNN把图像映射到6-DoF位姿端到端、速度极快缺少几何一致性精度有限特征匹配重定位Active Search局部特征检索加匹配再PnP求解精度高、对纹理好的场景鲁棒依赖特征点弱纹理场景失效场景坐标回归DSAC、DSAC逐像素回归全局3D坐标配合RANSAC保留几何约束训练可微需要场景3D模型动态场景难理解这条路线的关键是场景坐标回归并不是完全抛弃RANSAC而是把RANSAC从“后处理模块”变成了“可学习模块”。传统方法里特征提取、匹配、PnP是分开优化的DSAC则把这些环节通过一个可微的RANSAC流程串起来让网络的每一层参数都能接收到来自最终位姿误差的梯度。1.3 为什么“预测坐标”比“预测位姿”更聪明这一节值得多说几句。直接回归位姿看起来最简单网络输入一张图输出7个数3个平移分量加4个旋转四元数用回归损失训练。问题在于位姿是一个全局量平移和旋转耦合在一起网络要把整张图像压缩成7个数字这个信息瓶颈非常严重。尤其是旋转角度的小扰动在远距离投影上会被放大直接回归很难学出稳定的几何关系。场景坐标回归则完全不同。它把问题拆成了两层第一层是稠密预测网络对每个像素独立输出一个3D坐标第二层是几何求解用RANSAC从这些坐标对应中恢复相机位姿。这样每个像素都参与“投票”几何约束由RANSAC显式保证网络不需要自己隐式地学习“什么形状对应什么位姿”这种抽象关系。打个比方直接回归位姿像是让一个人闭着眼睛猜自己站在地图的哪个格子上坐标回归则像是让他先看清脚下每一粒沙子的位置再拼出整张地图。2. 可微RANSAC的两大改动DSAC 到底改了什么2.1 RANSAC在传统管线里是完全不可导的问题出在哪要理解DSAC得先理解传统RANSAC为什么挡了深度学习的路。常规RANSAC的流程是从一组2D-3D对应候选点里随机采样最小子集用PnP类算法解出候选位姿然后用所有点的重投影误差去“投票”保留内点数最多的那个位姿最后再用全部内点做一次非线性优化。这套流程里采样、取内点、选最大、集束调整每一个环节都是离散操作梯度根本流不过去。早期的工作想用场景坐标回归替代特征匹配但网络训练完后坐标预测的部分靠回归损失RANSAC只是固定的推理模块二者是割裂的。DSAC系列的核心贡献是把这个离散流程连续化把“选出最优模型”的操作替换成“计算每个候选模型的概率权重”把原来硬生生的argmax换成softmax式的期望选择这样损失对网络参数的梯度就能通过所有候选模型回流了。2.2 假设生成与评分网络输出怎么变成位姿候选DSAC里网络对输入图像做稠密预测输出每个像素对应的3D坐标同时也输出一个置信度图。系统随机采样若干组三个像素点每组用P3P解出候选位姿。为什么一定是三个点而不是更多因为求刚体位姿需要至少3对2D-3D对应三点也是RANSAC的最小采样集样本越少随机拼到正确模型组合的概率越高这是RANSAC的经典直觉。每个候选位姿生成之后需要给它打分。打分方式仍然沿用了RANSAC的核心理念把每个像素的预测场景坐标按当前位姿投影回图像平面计算与原始2D点的距离。但DSAC的评分函数不是简单的内点计数而是用连续性更强的误差聚合方式比如取重投影误差的一个鲁棒函数作为支持度。这个支持度值最终会进入softmax决定该模型在训练中占多大权重。评分函数越平滑梯度信号越均匀网络不至于只盯着某一个幸运样本。2.3 模型选择从贪心argmax到软argmax与温度退火DSAC的第一代模型在训练时用贪心argmax选出评分最高的位姿然后只对这个位姿计算损失。这样做的问题很明显梯度只流向被选中的那个模型其余所有候选都成了“沉默的大多数”。一旦某个错误的候选模型偶然拿到最高分梯度就会把网络拉向一个不合理的优化方向训练非常不稳定。DSAC的改进是将选择过程期望化每个候选位姿获得一个概率权重损失是所有候选损失的加权平均。权重由支持度的softmax决定用一个温度参数控制分布的尖锐程度。训练初期温度设置得比较高所有候选模型的概率彼此接近网络会对场景坐标建立一个大致的正确映射随着训练进行温度逐步降低选择越来越接近硬argmax最终让网络集中优化最可能的位姿。有意思的是推理阶段DSAC反而又用回硬argmax因为推理不需要反向传播直接选评分最高的模型并用细化模块做最后精炼。训练用软选择、推理用硬选择这个不对称设计在可微几何方法里非常经典值得记住。3. 训练管线全拆解网络结构、损失函数与端到端梯度流3.1 网络骨架把场景坐标当成稠密回归任务来做DSAC的基础网络是一个标准的全卷积结构输入是RGB图像输出是相同空间尺寸的稠密预测图。预测图包含两部分信息每个像素位置对应的3D场景坐标以及该像素坐标预测的可信度。场景坐标在训练阶段以场景的3D模型或者深度真值为监督目标可信度则用来告诉后续RANSAC哪些像素更值得信任本质上是一个可学习的软掩码。网络主干用的是当时非常成熟的16层卷积骨架ImageNet预训练这是论文里一个关键工程决策。室内重定位数据集通常只有几万帧规模远小于ImageNet如果从零开始训练稠密回归分支非常容易过拟合。先用分类任务预训练好的特征做初始化网络就自带了对光照、纹理、边缘的基本理解后续训练只需要微调高层特征收敛速度和最终精度都能显著提升。我在复现类似任务时也有同感预训练权重几乎是必须的尤其是当你打算在单个场景上做端到端微调时。3.2 损失函数从坐标回归到可微RANSAC端到端目标DSAC的完整训练目标分两层。第一层是坐标回归预训练用已知的场景坐标真值对稠密预测图算L1或者L2损失让网络快速学会“看到什么外观输出什么3D位置”的基本映射。第二层才是真正的端到端训练损失不再来自坐标本身而是来自最终位姿的误差。位姿误差怎么算这里有个值得注意的设计。论文没有直接比较预测位姿和真值位姿的平移向量与角度而是把3D场景点云分别用预测位姿和真值位姿投影到图像平面再比较两组投影点之间的角度偏差。这样做的优势是平移和旋转被统一到同一个几何量纲下避免了直接回归时平移和旋转单位不一致带来的权衡问题也对场景尺度更鲁棒。结合前述的软argmax端到端训练时的实际损失是所有候选位姿误差的期望值这个期望化行为让梯度在早期阶段稀疏性大幅降低。3.3 训练稳定性的几个关键开关温度、采样数量、细化模块论文能work不只是因为软argmax这个点子更多是训练细节堆出来的。温度退火策略就是一个关键超参数温度降得太快训练会退回硬argmax的震荡问题温度降得太慢网络始终无法收敛到尖锐分布最终位姿精度上不去。实际操作中需要监控每个候选模型的概率分布变化理想情况下训练后期大部分概率质量会集中到一个候选模型上说明选择已经“稳定”。另一个细节是候选假设的数量。RANSAC的候选位姿数量越多找到正确模型的机会越大但计算量和显存开销也随之增加。DSAC在训练时会让候选假设数量保持中等推理时可以适当增加采样次数来提高鲁棒性。还有一个容易被忽略的点是细化模块DSAC把RANSAC最后的迭代精炼步骤也纳入可微计算相当于让网络知道“最终位姿还会被优化一步”因此坐标预测的目标不是直接命中最终位姿而是命中之后还能被细化的“可优化区域”。这个设计提升了最终精度但也让梯度反向传播路径更复杂复现时建议先从关闭细化模块的版本跑通再逐步打开。4. 实验结果说明了什么从7-Scenes到12-Scenes以及消融日志里的真相4.1 数据集与评估协议7-Scenes和12-Scenes的难度差异DSAC的实验主要围绕两个公开数据集展开。7-Scenes由7个室内小场景组成覆盖厨房、办公室、卧室等典型室内环境用RGB-D传感器录制并通过离线方法构建场景3D模型。它的规模不算大但对当时的重定位算法来说已经能明显区分出方法之间的差距。12-Scenes包含12个面积更大、结构更复杂的房间视角变化更剧烈强反射表面和大幅遮挡出现更多整体难度比7-Scenes高了一个台阶。评估协议用的是中位数误差分别统计平移误差和旋转误差。选“中位数”而不是均值是因为重定位任务天然存在长尾的失败帧偶尔几个完全定位错误的结果会严重拉高均值中位数更能反映系统的典型表现。读懂这些数字时要注意中位数误差只有几厘米并不代表所有帧都好尾部分布里的那些坏帧才是实际部署时最需要担心的。4.2 横向对比和直接位姿回归、传统特征匹配相比是什么量级论文中和同期几个代表性方法做了对比。直接回归位姿的方法训练快、推理快但精度在7-Scenes上被DSAC拉开了一个很大的差距尤其是在旋转精度上因为缺少显式几何约束。传统特征匹配的方法在纹理丰富的场景里还能打一旦遇到墙面、地毯这类重复纹理或者大面积无纹理区域特征点数量骤减定位精度会急剧退化。DSAC通过稠密场景坐标预测绕开了特征检测环节每个像素都能提供对应参考天然更适合弱纹理室内环境。当然这不是说DSAC在所有场景都全面碾压。它依赖训练阶段建立的场景模型换一个场景就需要重新训练网络而传统特征匹配如果只换场景不换特征提取器至少还有泛化的余地。这体现了两种路线之间的根本取向差异一个靠数据学习外观到几何的映射一个靠通用特征去适应新场景。4.3 消融实验的价值软选择和细化模块各自贡献了多少论文的消融实验对理解设计决策特别有用。我把关键对比整理成表格方便看设计改动带来的收益配置模型选择细化模块端到端训练主要收益DSAC基线贪心argmax不可微有限基线精度尚可训练不稳定加入软选择soft-argmax加温度退火不可微完全训练稳定性显著提升DSAC完整版soft-argmax加温度退火可微细化完全精度再进一步尾分布更干净如果去看原文的误差曲线会发现固定温度而不退火时训练初期收敛尚可后期精度卡住上不去退火之后概率分布从平滑逐步变尖锐最终位姿精度才真正释放。细化模块的贡献则在于它把最后一步精炼的梯度也接回到网络网络会主动让预测坐标落在“细化的吸引域”里这是只看最终位姿误差学不出来的习惯。5. 复盘与延展DSAC的局限、后续脉络和我个人的读法5.1 限制要认清场景绑定、动态物体和真值获取DSAC不是万能的。最明显的限制是它绑定特定场景训练集是针对某个室内环境的RGB-D序列和3D模型换一个新场景位置和布局完全不同网络必须重新训练。这和“通用定位模型”的愿景差得很远。其次动态物体检测不出来如果测试帧里出现训练时没有的人、椅子和宠物对应像素的场景坐标预测会产生错误这些错误的对应进到RANSAC后至少会增加噪声严重时直接把位姿带偏。还有一个工程层面的问题训练需要高质量的场景3D模型作为监督。室内环境里用SfM重建的场景模型常含有空洞和噪声这些噪声会直接污染坐标真值进而限制网络精度上限。如果你要在一个新场景复现DSAC不是训练网络最难而是把场景模型建干净最难。5.2 从DSAC出去的几条路可微几何、稀疏化与多分辨率作为2018年的工作DSAC最大的思想遗产是验证了“几何模块可以被放进深度学习管线并参与训练”。此后可微RANSAC方向衍生出不少改进有人把它稀疏化只对少量关键点预测场景坐标大幅降低计算量有人把它和多分辨率特征结合让网络在多个尺度上预测坐标缓解大面积自相似区域的歧义也有人把注意力机制引入稠密预测分支动态决定哪些像素参与几何求解本质上是把置信度图设计得更精致。后来几年视觉重定位领域的主流逐渐转向“图像检索加局部特征匹配再加PnP”的混合路线这类方法的优势是可以利用大规模数据训练匹配能力并跨场景泛化。但DSAC这条场景坐标回归的支线一直没有断只是以更复杂的形式持续出现。读懂DSAC你就能理解后续很多工作的底层语法稠密预测一个几何量、接可微几何求解、在损失函数里保留几何一致性。5.3 读完之后我自己在复现里最想留住的三个经验第一几何一致性必须留在训练目标里不要只靠网络的隐式先验。直接回归位姿容易被外观误导而只要训练目标里保留重投影或者投影角度误差网络学出来的特征会更有几何意义。第二所有“离散但必须参与训练”的操作都可以问一句“能不能软化和期望化”。这个思路在RANSAC上有效在采样、匹配、排序等很多类似问题上同样成立。第三复现这类论文时先在小场景、小模型、关闭细化模块的配置下跑通完整梯度流比一开始就扑到完整配置上要省时间得多。我曾经花了很多时间处理训练震荡问题后来发现是温度退火参数和候选模型数量不匹配早点盯住概率分布的变化就能少走弯路。如果你也打算读原论文建议带着两个问题去看一是每个模块的梯度是怎么流回网络的二是推理阶段和训练阶段为什么可以设计得不一样。把这两个问题捋顺整篇论文的骨架就清晰了。