3D reconstruction from endoscopy images: A survey

Computers in Biology and Medicine, https://doi.org/10.1016/j.compbiomed.2024.108546

1 Introduction

双目内窥镜比较大，目前只在腹腔镜等少数场合使用

2 测量方法和重建方法

3D测量

• 基于几何结构
  • SfS，阴影形状
  • SfM
  • SLAM
  • MVS，多视图立体
• 基于深度学习，很难做到实时，不在讨论范围内

重建方式

• Sparse points，稀疏点
• 点云
• 网格
• TSDF，截断符号距离函数，划分为小块，储存这个块与当前最近表面的距离
• NeRF，神经辐射场
• 面元，包含一个三维点坐标，一个表面法线、半径、置信度和时间戳

3 双目内窥镜的重建

特征匹配：重点在算法

SLAM：一个线程提取稀疏特征点用于位姿估计，另一个线程运行密集双目特征匹配以进行深度估计，然后将位姿与点云融合

各种重建方法的比较

点云在鲁棒性表现方面具有最广泛的应用范围。面元更适合处理移动设备。TSDF和Mesh可以用于显示软组织的三维几何形状。对于软组织变形问题，基于NeRF的方法可以实现更好的性能。