[发明专利]图像处理装置、方法及摄像机

权利要求书

1.一种摄像机，其特征在于，所述摄像机包括图像处理装置和成像采集装置，所述图像处理装置包括神经网络平台单元和后处理平台单元，所述成像采集装置包括双峰滤光片和RGB-IR成像传感器，通过所述双峰滤光片的入射光的波段范围包括第一波段范围和第二波段范围，所述第一波段范围用于通过可见光，所述第二波段范围用于通过红外光；

所述RGB-IR成像传感器用于感应可见光和红外光，以得到RGB-IR图像，

所述成像采集装置还包括红外补光单元，所述红外补光单元用于在环境光照度低于照度阈值时进行红外补光；

所述神经网络平台单元用于通过神经网络模型对红绿蓝-红外RGB-IR图像进行插值，得到全分辨率RGB图像；

所述后处理平台单元，或者，所述神经网络平台单元和所述后处理平台单元，用于对所述全分辨率RGB图像进行处理，得到处理后的RGB图像，所述处理后的RGB图像为颜色正常的可见光图像；

其中，所述处理后的RGB图像是基于所述RGB-IR图像中的IR信息对所述全分辨率RGB图像进行红外去除处理、并对红外去除处理之后的图像进行白平衡校正处理以及红外亮度补充处理得到的；

其中，所述红外去除处理是指：通过预先标定的去除红外矩阵或通过神经网络的方式进行红外去除处理，以消除所述RGB图像在三个通道上的不同红外分量，所述白平衡校正处理是指：根据去除红外前的图像中每个像素点的亮度值和亮度阈值之间的大小关系确定统计像素点，基于统计像素点对去除红外后的图像进行白平衡校正。

2.如权利要求1所述的摄像机，其特征在于，所述神经网络平台单元包括第一神经网络模型，所述第一神经网络模型包括通道提取网络层、图像插值网络层以及第一网络输出层；

所述通道提取网络层用于对所述RGB-IR图像进行通道提取，得到初始R通道图像、初始G通道图像、初始B通道图像以及初始IR通道图像；

所述图像插值网络层用于将所述初始R通道图像、所述初始G通道图像以及所述初始B通道图像进行插值，得到全分辨率R通道图像、全分辨率G通道图像以及全分辨率B通道图像；

所述第一网络输出层用于将所述图像插值网络层输出的图像和所述初始IR通道图像进行拼接，以输出全分辨率RGB图像和初始IR通道图像。

3.如权利要求2所述的摄像机，其特征在于，所述后处理平台单元包括红外插值模块、红外去除模块和白平衡校正模块；

所述红外插值模块用于对所述初始IR通道图像进行插值，得到全分辨率IR图像；

所述红外去除模块用于根据所述全分辨率IR图像对所述全分辨率RGB图像进行去除红外光谱处理，得到去红外RGB图像；

所述白平衡校正模块用于对所述去红外RGB图像进行白平衡校正，得到白平衡校正RGB图像，将所述白平衡校正RGB图像作为所述处理后的RGB图像。

4.如权利要求2所述的摄像机，其特征在于，所述图像插值网络层还用于对所述初始IR通道图像进行插值，得到全分辨率IR图像；

所述第一网络输出层用于输出所述全分辨率RGB图像和所述全分辨率IR图像。

5.如权利要求4所述的摄像机，其特征在于，所述后处理平台单元包括红外去除模块和白平衡校正模块；

所述红外去除模块用于根据所述全分辨率IR图像对所述全分辨率RGB图像进行去除红外光谱处理，得到去红外RGB图像；

所述白平衡校正模块用于对所述去红外RGB图像进行白平衡校正，得到白平衡校正RGB图像，将所述白平衡校正RGB图像作为所述处理后的RGB图像。

6.如权利要求4所述的摄像机，其特征在于，所述图像插值网络层还用于根据所述全分辨率IR图像对所述全分辨率RGB图像进行去除红外光谱处理，得到去红外RGB图像；

所述第一网络输出层用于输出所述去红外RGB图像。