Advances in Real-Time 3D Reconstruction for Medical Endoscopy

J. Imaging 2024, 10, 120. https://doi.org/10.3390/jimaging10050120

1 Introduction

当前挑战：视野受限、缺乏深度感知、手术器械遮挡等

将实时定义为10FPS以上

2 Evaluation Tools

视差图vs点云：前者如上，依靠相机的图像和立体匹配；后者通过速度和方向直接生成

评价指标：区分accuracy和precision，前者是系统误差大小，后者是随机误差大小

评估3D重建质量的指标：最简单的是MAE（Mean Absolute Error）
\[ \mathsf{MAE} = \frac{\sum |y-\hat{y}|}{N} \]
其中\(\hat{y}\)是准确的视差，\(y\)是计算出的视差

最重要的是方均根误差（RMSE），对大误差给了更大的权重
\[ \mathsf{RMSE} = \sqrt{\frac{\sum(y-\hat{y})^2}{N}} \]

3 单目内窥镜，被动式

利用一个镜头在不同时间不同视角记录到的信息，根据图像的一些特征进行配准和重建；单目系统在处理强或快速的相机运动、变形物体以及无结构场景时表现不佳

Structure from Motion：用不同时间和位置的图像做配准，还可以利用相机的运动信息，这在双目中没有也没必要使用，只在单目中使用

**Simultaneous Localization and Mapping **：通常假设世界是静态且刚性的。视觉SLAM可以估计相机的平移和旋转，但由于缺少绝对尺度信息，可能导致尺度漂移问题。尽管如此，通过估计连续帧之间的基线，可以部分解决这一问题。SLAM技术可以与SfM结合，用于单目内窥镜设置中的3D重建

4 单目内窥镜，主动式

主动发射信号并接收，如结构光和飞行时间测量，但是需要额外的元件，对体积要求很高的内窥镜来说不太友好

SL方法通过将已知的光模式投影到表面上，并测量捕获的投影模式中的失真，从而确定每个像素的深度。ToF方法通常使用脉冲或调制红外光以及光检测模块，确定发射和检测之间的时间延迟，通过考虑光速来确定到表面的距离

Structured Light：有周期性结构的光在不平坦表面的反射光经过相机接收后于原始图案进行对比，会产生失真，根据失真反推表面结构

Time of Flight：利用接收到的光脉冲和发射的光脉冲的相位差，\(e^{ikx}=e^{i\Delta \phi}\)，解出位置差

Laser Distance Sensing：与OCT类似

5 双目内窥镜，被动式

主流还是图像匹配

Deterministic Stereo Matching：最小工作距离应至少是立体相机之间基线的30倍，以生成更好的立体图像

方法非常多，主要都是对匹配速度和准确度的追求

6 多目内窥镜，被动式

文献非常少，目前找到的工作有限