Multiocular image sensor with on-chip beamsplitter

Optical Express http://dx.doi.org/10.1364/OE.24.018035

报道了一种单主镜头多目图像传感器芯片

装置的大小是0.8cm；2.1M pixel

1 Introduction

双镜头，双传感器系统需要对镜头的位置进行严格调整，且长时间观看立体图像会带来不适感，为此需要单主镜头和单传感器且可调节基线距离的立体相机

两种单主镜头相机

• 获取左眼右眼信息，利用配准进行重建，极度依赖配准算法
• 使用额外的光学组件区分左右眼图像，根据视角不同来确定，但是体积太大

另一种方法：利用光场相机和MLA，生成全息图像，但是需要持续对准MLA或固定死

本文方法

具有角度敏感的传感器，区分入射光线到像素的入射角，使用了光栅进行区分

即获得了不同角度看到的多幅图像，从中选择两幅进行配准

2 单主透镜立体成像系统原理

成像系统能从主镜头入射的水平角度区分入射光线，不需要第一步的图像水平配准，基线距离根据入射角度而定

用MLA分为了多目，但只有一个主要的透镜，每个目的传感角度如右图

每个目的灵敏角度是传统相机的1/N，在最灵敏的角度下，每个目比传统相机高N倍

3 片上光学成像系统

3.1 滤光片和MLA的联合设计

滤光片和内部的小透镜是联合设计的，根据外部的非主透镜来

对应于main lens到Aperture的那一段，左边是俯视图，是LA，右边是截面图，每个滤光片排列的方式如下

是交错的

外部透镜的焦距要使得聚焦的光线能够到达第1，N个内部透镜，经过内部透镜将光线聚焦到每一个光电二极管（也就是第k目），金属线的作用是限制入射光的角度，相当于场光阑

3.2 内部微透镜

上图表示了内部微透镜在金属线的限制下的聚光情况，其中\(\Delta\)表示光线聚焦处距离中央的距离，根据近似公式
\[ \Delta = -f_{\mathsf{inner}}\frac{n_o}{n_i}\sin\theta \]
求出，其中\(\theta\)表示最上方光线的主要角度，偏左是负，根据这个\(\Delta\)区分角度和视角

4 多目信号处理

基线距离可以自由选择，通过选择不同目的图像分别作为两目的图像

通过光强叠加实现，但是系数通过指定入射角度和目的位置计算
\[ I_p(x,y) = \sum a_k I_k(x,y) \]
其中\(I_p\)是指定的入射角度，\(a_k\)可以通过灵敏度计算，例如

通过这张图，\(a_i=\begin{cases}0\,\,,\,i\neq k,k+1\\0.5\,\,,\,\, i=k,k+1\end{cases}\)

相当于把几个角度的图像加权得到新的角度的图像，也就是改变了基线距离，实现基线距离可以软件控制的操作