[发明专利]基于卷积稀疏编码的单相机RGB-NIR成像系统

权利要求书

1.一种基于卷积稀疏编码的单相机RGB-NIR成像系统，其特征在于，包括：

基于OV4682的传感器的相机，所述传感器的每个pixel钱的颜色滤波片为2x2的重复单元，且分别是红色滤波片、绿色滤波片、蓝色滤波片及近红外滤波片，以在所述相机的光学部门没有红外滤波片时，使得近红外光通过所述红色滤波片、所述绿色滤波片、所述蓝色滤波片及所述近红外滤波片，且复用的被传感器复用采集可见光和近红外光；

RGB-NIR分离重构模块，用于通过双凸优化求解得到不同通道之间的串扰矩阵，并且经过卷积稀疏编码学习得到RGB-NIR通道的结构先验，以组成图像片的基元结构单元，并求解凸优化问题以实现从单张采集图像中重构出RGB图像以及近红外图像。

2.根据权利要求1所述的基于卷积稀疏编码的单相机RGB-NIR成像系统，其特征在于，所述基于OV4682的传感器的相机的传感器前的贝尔滤波片为R-G-B-IR排列，且没有红外滤波片。

3.根据权利要求1所述的基于卷积稀疏编码的单相机RGB-NIR成像系统，其特征在于，所述RGB-NIR分离重构模块具体用于通道间串扰矩阵的估计、逐通道噪声估计、逐通道模糊核估计、基于卷积稀疏编码的RGB-NIR颜色通道的图像的结构先验的学习和单张马赛克图像中分离和重构出RGB和NIR图像。

4.根据权利要求3所述的基于卷积稀疏编码的单相机RGB-NIR成像系统，其特征在于，所述通道间串扰矩阵的估计，包括：

标定出相机的光谱透过率曲线R，其中，

R＝[r_R,r_G,r_B,r_I]，

其中，r_R,r_G,r_B,r_I分别是RGB和近红外通道的光谱透过率向量，向量的长度为N。

5.根据权利要求3所述的基于卷积稀疏编码的单相机RGB-NIR成像系统，其特征在于，所述矩阵R的维度是N×4。

6.根据权利要求3所述的基于卷积稀疏编码的单相机RGB-NIR成像系统，其特征在于，所述RGB-NIR分离重构模块具体用于求解如下双凸优化问题，估计NIR通道对可见光通道RGB通道的影响：

其中，估计通道间串扰模型C为一个4×4的矩阵,C_ij代表j理想通道的光串扰到i通道的系数。

已知R估计C和Q是个双凸优化问题，通过固定其中一个位置变量，优化另一个优化变量，以在迭代后得到收敛的解：

subject to C≥0,Q≥0,

其中，C为不同理想的光谱通道间串扰矩阵C，，I_p是惩罚矩阵，Q为理想光谱透过率曲线，目标函数的第三项是对光谱透过率曲线的梯度的平滑约束。

7.根据权利要求6所述的基于卷积稀疏编码的单相机RGB-NIR成像系统，其特征在于，所述RGB-NIR分离重构模块通过噪声估计算法对不同通道的噪声进行估计，以估计不同通道的噪声得到最终的RGB-NIR重构优化算法中，数据项中不同通道的加权系数：

8.根据权利要求1所述的基于卷积稀疏编码的单相机RGB-NIR成像系统，其特征在于，所述RGB-NIR分离重构模块通过盲卷积算法估计得到不同通道的卷积核K_R,K_G,K_B,K_I。

9.根据权利要求1所述的基于卷积稀疏编码的单相机RGB-NIR成像系统，其特征在于，所述RGB-NIR分离重构模块通过卷积稀疏编码学习得到RGB-NIR通道的结构先验，以组成图像块的基元结构集合。

10.根据权利要求1所述的基于卷积稀疏编码的单相机RGB-NIR成像系统，其特征在于，单张马赛克图像中分离和重构出RGB和NIR图像，所述RGB-NIR分离重构模块通过求解如下优化公式实现：

subject to y＝KDz,v＝z,

其中，目标函数中的第一项是数据约束项，第二项和第三项是约束重构的不同通道的图像在学到的结构字典基上的稀疏性。