伪双目视差估计网络 NDRNet

单目视差估计网络的高效架构与性能优化 了解更多

项目概览

1. 网络整体架构

核心组件

  • 双路编码器（RGB 和 SGM）设计
  • 多尺度特征解码器架构
  • 创新的双头视差预测机制
  • 高效的特征融合策略
NDRNet 架构图

2. 网络详细运行逻辑

2.1 编码阶段

  • 双路特征提取：
    • RGB 图像通过专用编码器处理
    • SGM 结果经过独立编码器分析
    • 采用 RegNetX/Y 作为主干网络
  • 多尺度特征提取：
    • 特征图逐级下采样（1/4、1/8、1/16、1/32）
    • 保留各尺度特征信息

2.2 解码阶段

  • 特征融合策略：
    • 通过 Sum 操作实现特征融合
    • 采用逐级上采样恢复分辨率
    • 引入跳跃连接保留细节信息
  • 双头预测机制：
    • 主视差头：多层 ReLU 激活，F.Smooth 和 L1 损失
    • 辅助视差头：级联卷积结构，SMD 损失函数

3. 视差可视化效果

Baseline 视差 新模型视差

左图：Baseline 视差估计效果 | 右图：新模型视差估计效果

Baseline 点云视差 新模型点云视差

左图：Baseline 视差(点云)估计效果 | 右图：新模型视差(点云)估计效果

4. 参考文献

[1] Tosi, F., Liao, Y., Schmitt, C., & Geiger, A. (2021). SMD-Nets: Stereo Mixture Density Networks. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 8942-8952).

[2] Mayer, N., Ilg, E., Hausser, P., Fischer, P., Cremers, D., Dosovitskiy, A., & Brox, T. (2016). A large dataset to train convolutional networks for disparity, optical flow, and scene flow estimation. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 4040-4048).