[发明专利]一种基于双层优化的红外和可见光融合方法

权利要求书

1.一种基于双层优化的红外和可见光融合方法，其特征在于，包括步骤如下：

1)获取配准好的红外和可见光图像，分别对可见光双目相机及红外双目相机进行每个镜头的标定及各自系统的联合标定；

1-1)利用张正友标定法对每台红外相机、可见光相机分别进行标定，获得每台相机的内部参数包括焦距、主点位置和外部参数包括旋转、平移；

1-2)利用联合标定获得的RT及检测的棋盘格角点计算同一平面在可见光图像与红外图像中的位置关系运用单应性矩阵进行可见光图像到红外图像的配准；

2)对可见光图像进行色彩空间的转换，从RGB图像转成HSV图像，提取彩色图像的明度信息作为图像融合的输入，保留其原有色调及饱和度；

3)对输入的红外图像和进行色彩空间转换后的可见光图像进行于基于双层范式的数学建模；建立两个单独的模型，即上层子问题Leader和下层子问题Follower来解决同一个问题：

其中，F代表融合后的图像，I,V分别表示红外图像和可见光图像的明度，代表求梯度的算子，γ,β分别表示Leader和Follower的参数；

4)求解上层子问题，得到目标在图像域的融合结果；目标结果通过求解下式得到：

其中F_l^k+1表示上层问题的结果；因为该目标有简单的闭式解，因此使用如下公式的闭形式解直接得到：

其中，F代表融合后图像，I代表红外图像，V代表可见光图像的明度，γ代表可见光与红外图像权重参数，α代表权重变量参数；

5)求解下层子问题，得到目标在梯度域的融合结果；应用交替方向乘子法，通过引入辅助变量将无约束问题转化为约束问题，然后在该框架下进行求解；

所述辅助变量为u,w，其中

6)通过对上、下层两个子问题的求解，得到了两个对融合结果在不同特征下的估计F_l^k+1,为了将这两个成分融合到一张图像F上，对这两个成分进行一个线性的组合，表示为如下形式：

其中F^k+1是每次迭代的最终结果，该参数根据经验手工选取；

7)色彩空间转换：将融合的图像转回RGB图像并添加之前保留下的色调和饱和度；

通过把融合图像存入的V信息进行更新，结合之前保留的H和S进行HSV到RGB色彩空间的还原；

8)色彩增强：对融合的图像进行色彩增强，从而生成一幅清晰度和对比度更优的融合图像；针对每个像素点的对比度，进行像素级的图像增强；

还原的图像进行颜色校正与增强，生成符合观察与检测的三通道图片；分别对R通道、G通道、B通道进行色彩增强，获得最终融合图像。

2.根据权利要求1所述的基于双层优化的红外和可见光融合方法，其特征在于，步骤2)对可见光图像进行色彩空间的转换包括：

2-1)进行RGB色彩空间到HSV色彩空间的转换，V为明度，H为色调，S为饱和度；提取可见光图像的明度信息与红外图像进行融合，保留其色调和饱和度，具体转换如下所示：

R′＝R/255G′＝G/255B′＝B/255

Cmax＝max(R′,G′,B′)

Cmin＝min(R′,G′,B′)

Δ＝Cmax-Cmin

V＝Cmax

2-2)提取明度V通道作为可见光的输入，保留H和S到对应的矩阵为后面融合后的色彩还原保留颜色信息。

3.根据权利要求1所述的基于双层优化的红外和可见光融合方法，其特征在于，步骤5)的求解方法为：首先引入两个辅助变量u,w，其中通过变量替换，转化为最小化如下问题：

其中表示梯度算子，λ₁,λ₂是两个乘子，ρ₁，ρ₂是惩罚项的参数，通过变量分离，得到了三个分别关于u,w,F的子问题：

5-1)对于下层问题的的更新，使用公式的闭形式解得到：

5-2)每一次迭代之后都需要对乘子λ₁,λ₂进行更新，具体更新方式如下：