[发明专利]一种昼夜全彩楼宇可视电话成像装置

权利要求书

1.一种昼夜全彩楼宇可视电话成像装置，其特征是：由1个摄像机机壳(1)、1个光电传感器(2)、1个近红外光源(3)、1个近红外增透镜头(4)、1个单色图像传感器(5)、1个可见光镜头(6)、1个IRCUT(7)、1个彩色图像传感器(8)、1个处理电路(9)、1个供电接口(10)、1组数据接口(11)构成；

其中，摄像机机壳(1)前端设置两个镜头接口，用于固定近红外增透镜头(1)和可见光镜头(2)，在摄像机机壳前端设置光电传感器(2)；

光电传感器(2)选用可见光传感器，用于测量场景中可见光强度，以此判定是否开启或关闭近红外光源(3)；

近红外光源(3)固定在摄像机壳(1)前方，在低照度情况下，对场景进行补充照明，近红外光源(3)波长范围为800nm～1000nm，照明视场角大于拍摄视场，近红外光源(3)具有控制信号输入接口，并与处理电路(9)连接，由处理电路(9)控制近红外光源开启或关闭；

近红外增透镜头(4)后端设置单色图像传感(5)用于拍摄灰度图像A；

可见光镜头(6)后端设置彩色图像传感器(8)用于拍摄彩色图像B，在彩色图像传感器(8)前端设置IRCUT(7)，用于近红外光源(3)开启照明情况下过滤近红外光；

所述彩色图像传感器(8)为Bayer图像传感器，彩色图像B是由Bayer图像传感器拍摄的Bayer图像Q经图像去马赛克处理得到；

处理电路(9)是嵌入式硬件，可采用ARM、DSP、FPGA、ASIC、单片机等芯片实现；采集电路(9)与光电传感器(2)、近红外光源(3)的控制电路接口、单色图像传感器(5)、彩色图像传感器(8)、IRCUT(7)、供电接口(10)、数据接口(11)连接，为光电传感器(2)、单色图像传感器(5)、彩色图像传感器(8)、IRCUT(7)、数据接口(11)供电，完成光电传感器(2)测量信号采集与处理，单色图像传感(5)、彩色图像传感器(8)图像采集，完成ISP处理、图像融合、图像压缩、图像存储、图像传输等操作，进行IRCUT、近红外光源驱动控制；

供电接口(10)与近红外光源(3)、处理电路(9)连接，为近红外光源(3)和处理电路(9)供电；

数据接口(11)用于摄像机控制、数据传输，相关接口包括：BNC、网络、HD-SDI、HDMI；

本发明摄像机工作流程是：处理电路(9)采集光电传感器(2)测量结果v，取值范围为0～255，当测量结果v>t时，摄像机进入白天工作模式，当测量值v<t时，摄像机进入夜间工作模式，其中t是判定阈值，取值范围为0～255；在白天工作模式，处理电路(9)关闭近红外光源(3)、单色图像传感器(5)，驱动IRCUT移开彩色图像传感器前端的IR滤光片，采集彩色图像传感器(8)Bayer图像Q，执行标准的ISP处理流程，获取白天彩色图像C，对图像C进行压缩、存储、传输等操作；在夜间工作模式下，处理电路(9)开启近红外光源(3)照明、单色图像传感器(5)、彩色图像传感器(8)，驱动IRCUT移动IR滤光片到彩色图像传感器前端，同步采集单色图像传感器(5)拍摄的灰度图像A和彩色图像传感器(8)拍摄的Bayer图像Q，对Bayer图像Q进行去马赛克处理得到彩色图像B，对灰度图像A和彩色图像B进行图像融合，得到夜间彩色图像C'，再对图像C'进行压缩、存储、传输；

在夜间工作模式下，对Bayer图像Q进行去马赛克处理得到彩色图像B的具体方法是：以2*2像素为处理单元，根据Bayer成像模式，抽取2*2像素块内的r、b通道像素作为彩色图像B的r、b通道值，抽取2*2像素块内的g通道像素均值作为彩色图像B的g通道值，得到的彩色图像B分辨率是Bayer图像Q的1/4；

在夜间工作模式下，对灰度图像A与彩色图像B进行融合，得到夜间彩色图像C'的方法，包括方法a和方法b；

方法a操作步骤如下：

第a-1步：采用图像插值方法对彩色图像B进行上采样得到彩色图像B'，使彩色图像B'分辨率与灰度图像A相同；对近红外增透镜头(4)、可见光镜头(6)构成的双目立体成像系统进行标定，获取灰度图像A与彩色图像B'像素坐标映射关系P：(i_A,j_A)＝P(i_B',j_B')，其中(i_A,j_A)、(i_B',j_B')是灰度图像A和彩色图像B'的像素坐标；

所述图像插值方法，包括线性插值、双线性插值、高斯插值、B样条插值、RBF插值；

第a-2步：根据坐标映射关系P，对彩色图像B'进行坐标变换得到彩色图像B”，抽取灰度图像A与彩色图像B”的重叠区域，分别得到灰度图像E和彩色图像D，此时，灰度图像E与彩色图像D视场重合；

第a-3步：以灰度图像E作为引导图像，对彩色图像D的r、g、b颜色通道D^r,D^g,D^b进行局部平滑滤波，得到去噪彩色图像

第a-4步，在颜色与亮度分量颜色空间λ，把彩色图像转换为图像其中是亮度分量，是颜色分量，使用灰度图像E替换得到图像将图像转换为rgb颜色空间图像C'，图像C'中亮度信息来源于图像E，颜色信息来源于图像

所述第a-3步中以图像E作为引导图像对彩色图像D进行局部平滑滤波的具体操作步骤如下：

第a-3-1步：

计算图像E的局部邻域均值：

μ_E＝f_m(E)(1)

计算图像D的三个颜色通道D^r,D^g,D^b的局部邻域均值：

μDr=fm(Dr)---(2)]]>

μDg=fm(Dg)---(3)]]>

μDb=fm(Db)---(4)]]>

第a-3-2步：

计算图像E的局部邻域方差：

σ_E＝f_m(E.*E)-μ_E.*μ_E(5)

计算图像E与图像D三个颜色通道D^r,D^g,D^b中对应像素的局部邻域协方差：

σE,Dr=fm(E.*Dr)-μE.*μDr---(6)]]>

σE,Dg=fm(E.*Dg)-μE.*μDg---(7)]]>

σE,Db=fm(E.*Db)-μE.*μDb---(8)]]>

第a-3-3步：

计算线性变换系数：

αr=σE,Dr./(σE+τr)---(9)]]>

αg=σE,Dg./(σE+τg)---(10)]]>

αb=σE,Db./(σE+τb)---(11)]]>

其中，τ_r,τ_g,τ_b是一个罚分系数，取值范围为(0～10)；

βr=μDr-αr.*μE---(12)]]>

βg=μDg-αg.*μE---(13)]]>

βb=μDb-αb.*μE---(14)]]>

第a-3-4步：

计算线性变换系数局部邻域均值：

μαr=fm(αr)---(15)]]>

μαg=fm(αg)---(16)]]>

μαb=fm(αb)---(17)]]>

μβr=fm(βr)---(18)]]>

μβg=fm(βg)---(19)]]>

μβb=fm(βb)---(20)]]>

第a-3-5步：

对图像D三个颜色通道D^r,D^g,D^b进行线性变换：

其中，f_m(·)是图像均值滤波，窗口尺寸为s*s，s取值范围为3～111，.*是点乘操作，表示矩阵中相同位置处元素相乘，./是点除操作，表示矩阵中相同位置处元素相除；

方法b是对方法a中第a-3步得到的彩色图像和灰度图像E进行图像细节融合，获取更高质量低照度彩色图像C”，具体操作如下：

第b-1步：在颜色与亮度分量颜色空间λ，把彩色图像转换为图像其中是亮度分量，是颜色分量；

第b-2步：对图像E进行图像保边缘多尺度分解，得到基图像和细节图像其中，(n+1)是图像分解的层数，取值范围为1～10；

所述基图像由图像保边缘平滑滤波得到：

ξE0=fsmooth0(E)---(24)]]>

所述图像保边缘平滑滤波f_smooth(·)包括加权最小二乘保边缘平滑、基于局部极值的保边缘平滑、基于局部拉普拉斯金字塔的保边缘滑、中值滤波、加权中值滤波方法；

多层细节图像由基图像与不同尺度平滑图像作差得到：

ξEz=ξE0-Fsmoothz(E)---(25)]]>

多层细节图像也可由两个不同尺度平滑图像作差得到：

ξEz=fsmoothz1(E)-fsmoothz2(E)---(26)]]>

其中，f_smooth(·)是图像保边缘平滑滤波，上标0、z、z₁、z₂是指滤波器尺度层标号，标号越大尺度越小，标号为0表示最大滤波尺度；

第b-3步：将基图像细节图像与亮度分量加权融合后，得到新的亮度分量

其中，{ω₀,ω₁,…,ω_n+1}是加权系数，取值范围0～1；

第b-4步：基于新的亮度分量将图像转化为rgb颜色空间彩色图像C”，图像C”中亮度信息来源于图像E和图像颜色信息来源于图像

所述，颜色与亮度分离颜色空间λ包括YUV、YCbCr、HSI、Lab、CIEXYZ颜色空间。