[发明专利]一种基于光场成像的多聚焦图像融合方法

说明书

本发明公开了一种基于光场成像的多聚焦图像融合方法，首先得到光场图像的子孔径图像，再通过光场相机的主透镜、微透镜阵列、传感器及成像平面之间的位置关系搭建重聚焦模型，并利用线面之间的三角关系推出重聚焦系数；然后通过调整重聚焦系数使图像中不同的目标分别聚焦至清晰度最高处；再由图像清晰度评价函数——Tenengrad评价函数将重聚焦图像划分为多个部分，根据划分部分建立mask掩膜并以此表示融合位置；利用拉普拉斯金字塔融合算法将经过上述处理后的图像进行融合。该方法能保证飞行器可以获得不同非合作目标最清晰的特征信息，并减少背景变换给后续图像处理工作带来的干扰，能更好的满足制导系统对准确性的要求。

技术领域

本发明属于图像处理技术领域，具体涉及一种图像融合方法。

背景技术

图像制导由于信息丰富、实时性强、制导精度高等优点成为精确制导系统中常用的制导方式之一，在航空、航天领域得到广泛的应用。导引头处安装的摄像机实时获取目标信息，并分析处理相应的图像序列，从而解算出跟踪目标在实际背景中的相应位置信息。目前图像制导系统中大多使用单目相机，单目相机结构简单且成本低，但由于其只能拍摄二维图像导致大量可利用的光线深度信息被摒弃；且在面对多个非合作目标时，传统的先聚焦后拍照模式使单目相机无法在一张图像中将多个目标对焦至正确深度、导致目标信息缺失、无法满足制导过程中对准确性的要求，多个不同的目标拍摄不同聚焦深度的图像又会使后续的图像处理的步骤较为繁杂、无法满足制导对实时性的要求；且多张图像会使多个非合作目标之间的相对信息产生较大变化、导致后续数据处理的工作量增加，这些都限制了图像制导的发展。

由于光场相机在主透镜和传感器平面之间加入的微透镜阵列能够让光线二次折射，使二维空间信息和二维角度信息同时被记录，四维数据使光场相机拥有先拍照后聚焦的特性。重聚焦处理不仅可以避免失焦现象，还可以使图像内的多个目标分别达到其清晰度最高的聚焦位置。

发明内容

为了克服现有技术的不足，本发明提供了一种基于光场成像的多聚焦图像融合方法，首先得到光场图像的子孔径图像，再通过光场相机的主透镜、微透镜阵列、传感器及成像平面之间的位置关系搭建重聚焦模型，并利用线面之间的三角关系推出重聚焦系数；然后通过调整重聚焦系数使图像中不同的目标分别聚焦至清晰度最高处；再由图像清晰度评价函数——Tenengrad评价函数将重聚焦图像划分为多个部分，根据划分部分建立mask掩膜并以此表示融合位置；利用拉普拉斯金字塔融合算法将经过上述处理后的图像进行融合。该方法能保证飞行器可以获得不同非合作目标最清晰的特征信息，并减少背景变换给后续图像处理工作带来的干扰，能更好的满足制导系统对准确性的要求。

本发明解决其技术问题所采用的技术方案包括以下步骤：

步骤1：对光场相机拍摄图像提取子孔径图像，子孔径图像中有N个目标物；

步骤2：设置子孔径图像中每个目标物的重聚焦系数，生成N幅聚焦深度不同的重聚焦图像，每幅重聚焦图像聚焦一个目标物；

步骤3：将子孔径图像按照目标物的位置分割成N个部分，每部分包含一个目标物；再按照和子孔径图像相同的分割方法将N幅重聚焦图像进行分割；对每一幅重聚焦图像，采用清晰度评价Tenengrad函数得到每个分割部分的Tenengrad函数值；在每一幅重聚焦图像中，将Tenengrad函数值最高的部分权值记为1，其余部分权值记为0；

步骤4：根据Tenengrad函数值建立子孔径图像的mask掩模图像，采用子孔径图像的mask掩模图像建立每幅重聚焦图像的高斯金字塔；再由高斯金字塔得到每幅重聚焦图像的拉普拉斯金字塔；高斯金字塔和拉普拉斯金字塔均有M层，记两个金字塔的最底层为第1层，最高层为第M层；

步骤5：用高斯金字塔的第i层减去第i-1层经过上采样和高斯卷积处理后的图像，得到第i-1层的差分图像，再将高斯金字塔的第1层进行上采样和高斯卷积后分别与第i-1层的差分图像相加得到第i-1层的重构图像，从而得到每一层新的高斯金字塔图像，把新的高斯金字塔图像所有层叠加，得到重聚焦图像重构图像；