[发明专利]基于微透镜阵列合成孔径的光场相机去遮挡系统和方法

说明书

本发明提供了基于微透镜阵列合成孔径的光场相机去遮挡系统和方法，采用微透镜阵列和合成孔径技术，提高了图像的角分辨率和光通量，通过目标场景内遮挡物进行数字对焦，对遮挡物的数据进行了高精度的识别和去除，实现了对目标场景中被遮挡物体的还原显现，从而提高了图像的信噪比和图像清晰度；在保证遮挡物识别高准确度的前提下，实现了提高目标图像的图像质量和系统的可靠性的功能。本发明提供了高对比度和高信噪比的去除遮挡物信息的三维场景信息光场图像，并可根据需要将该系统视频化进一步处理，通过三维测量进行数字化改造，在医疗检测信息化、展现形式场景化、娱乐体验代入感、虚拟化的等领域具有广泛应用前景。

技术领域

本发明属于计算成像技术领域，具体涉及基于微透镜阵列合成孔径的光场相机去遮挡系统和方法。

背景技术

当前对光场相机成像中的遮挡物的去除要求越来越高。一种典型的解决方法是：光场相机通过单次拍摄可获取立体空间中的四维光场数据，由于光场的多维度性(方向维度和位置维度)，利用光场的多视角特性从四维光场数据中提取全光场图像的深度信息，并基于多线索融合的光场图像深度提取方法以获取深度信息。分别利用自适应散焦算法和自适应匹配算法提取遮挡物体和目标场景的深度信息；然后用峰值比作为置信以加权融合两种算法获取的遮挡物和目标场景的深度；最后，用具有结构一致性的交互结构联合滤波器对融合深度图进行滤波,得到深度图。然而此方法的缺陷是计算量较大且散焦后的遮挡物信息仍然残留于目标物体图像中。

另一类典型的解决方法是：采用影视制作中的蓝幕技术(Blue screening)，在对被遮拦目标进行成像之前，先在遮挡物后面放置一幅全蓝色(或其他与遮挡物不同颜色)的背景屏幕，对其进行拍摄，获取的图像中与背景屏幕颜色不同的部分即看作遮挡物。拍摄目标时，移去背景屏幕，保持相机的位置和姿态不变，获取的图像中与遮挡物对应的像素因此可被识别。此方法的缺陷是仅适用于静态目标物体信息已知的情况，目标物体图像易成马赛克状。

发明内容

本发明要解决的技术问题是：提供基于微透镜阵列合成孔径的光场相机去遮挡系统和方法，用于在保证遮挡物识别高准确度的前提下，提高目标图像的图像质量和系统的可靠性。

本发明为解决上述技术问题所采取的技术方案为：基于微透镜阵列合成孔径的光场相机去遮挡系统，包括依次设置在光路上的主物镜、微透镜阵列和图像传感器，还包括控制器和同步响应终端；主物镜用于分别采集静态空白场景图像和采集原始场景图像并将成像光线变为平行光束；微透镜阵列用于接收平行光束，将每一个微透镜所成的子图像投射到图像传感器上；图像传感器用于接收从微透镜阵列出射的多幅聚焦光线，转换成空白场景图像的中心点坐标，和具有方向维度和位置维度的四维光场图像数据，并发送到控制器；控制器的信号接收端与图像传感器的信号发送端连接，用于对收到的四维光场图像数据进行提高角度分辨率的处理，并将得到的目标场景图像数据发送到同步响应终端；同步响应终端的信号接收端与控制器的信号发送端连接，用于存储、管理、重建收到的目标场景图像数据并转换成图像显示给用户。

按上述方案，控制器包括按信号流向依次连接的遮挡物处理模块、阈值区间模块、判断模块、分区模块和数字重聚焦模块；遮挡物处理模块用于获取遮挡物图像数据；阈值区间模块用于判定遮挡物的光场信息区间，匹配遮挡物的阈值；判断模块用于对聚焦在遮挡物的图像进行二值化处理，得到二值化图像；分区模块用于删除遮挡物的区间光场信息，得到目标场景的位置维度和方向维度信息，并输出空白场景图像数据；数字重聚焦模块用于将主镜头的孔径进行1/N²倍细分采样，将原光圈数为F_N的相机等效成为N²个光圈数为F_N/N的虚拟相机的组合，由多个单个小光圈孔径景深等效成的一个大光圈数的大孔径光场相机。

按上述方案，同步响应终端包括存储器和显示器。

基于微透镜阵列合成孔径的光场相机去遮挡方法，包括以下步骤：

S1：通过主物镜采集白图像；