[发明专利]基于卷积稀疏编码的单相机RGB-NIR成像系统

说明书

本发明公开了一种基于卷积稀疏编码的单相机RGB‑NIR成像系统，包括：基于OV4682的传感器的相机，传感器的每个pixel钱的颜色滤波片为2x2的重复单元，且分别是红色滤波片、绿色滤波片、蓝色滤波片及近红外滤波片，以在相机的光学部门没有红外滤波片时，使得近红外光通过红色滤波片、绿色滤波片、蓝色滤波片及近红外滤波片，且复用的被传感器复用采集可见光和近红外光；RGB‑NIR分离重构模块，用于通过双凸优化求解得到不同通道之间的串扰矩阵，并且经过卷积稀疏编码学习得到RGB‑NIR通道的结构先验，以组成图像片的基元结构单元，并求解凸优化问题以实现从单张采集图像中重构出RGB图像以及近红外图像。该系统具有简单易行、采集系统简单、成本低、误差小的优点。

技术领域

本发明涉及技术领域，特别涉及一种基于卷积稀疏编码的单相机RGB-NIR成像系统。

背景技术

RGB和NIR成像技术是对可见波段和近红外波段的图像的采集，已经被广泛的应用到临床医学中的癌症手术，计算机视觉中的材质分类和检测，阴影检测，农业中的植被健康监测等。

RGB和NIR成像技术的实现方式一般是通过两个相机采集实现，其中一个相机的成像光学透镜前置有NIR滤波片，从而实现可见光图像的采集，另一个相机的成像透镜前有可见光滤波片，从而实现近红外光图像的采集。通过两个相机的位置校准，可以实现RGB和近红外图像的采集，一方面这种成像技术需要至少两个相机的采集，另一方面，不同相机之间的校准算法计算复杂度比较高，而且会引入校准误差，给图像带来误差。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的目的在于提出一种基于卷积稀疏编码的单相机RGB-NIR成像系统，具有简单易行、采集系统简单、成本低、误差小的优点。

为达到上述目的，本发明的实施例提出了一种基于卷积稀疏编码的单相机RGB-NIR成像系统，包括：基于OV4682的传感器的相机，所述传感器的每个pixel钱的颜色滤波片为2x2的重复单元，且分别是红色滤波片、绿色滤波片、蓝色滤波片及近红外滤波片，以在所述相机的光学部门没有红外滤波片时，使得近红外光通过所述红色滤波片、所述绿色滤波片、所述蓝色滤波片及所述近红外滤波片，且复用的被传感器复用采集可见光和近红外光；RGB-NIR分离重构模块，用于通过双凸优化求解得到不同通道之间的串扰矩阵，并且经过卷积稀疏编码学习得到RGB-NIR通道的结构先验，以组成图像片的基元结构单元，并求解凸优化问题以实现从单张采集图像中重构出RGB图像以及近红外图像。

根据本发明实施例提出的基于卷积稀疏编码的单相机RGB-NIR成像系统，通过新型贝尔滤光片的相机传感器，复用的采集RGB和NIR的图像，最终通过优化重构算法实现可见光波段RGB通道和近红外波段NIR通道的计算重建，具有简单易行、采集系统简单，成本低的优点，只需要标定一次不同通道的噪声和模糊核就能够达到成像目的，且能够实现单相机RGB和近红外的同时成像，降低对准和矫正误差。

另外，根据本发明上述实施例的基于卷积稀疏编码的单相机RGB-NIR成像系统还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述基于OV4682的传感器的相机的传感器前的贝尔滤波片为R-G-B-IR排列，且没有红外滤波片。

进一步地，在本发明的一个实施例中，所述RGB-NIR分离重构模块具体用于通道间串扰矩阵的估计、逐通道噪声估计、逐通道模糊核估计、基于卷积稀疏编码的RGB-NIR颜色通道的图像的结构先验的学习和单张马赛克图像中分离和重构出RGB和NIR图像。

进一步地，在本发明的一个实施例中，所述通道间串扰矩阵的估计，包括：标定出相机的光谱透过率曲线R，其中，

R＝[r_R,r_G,r_B,r_I]，