[发明专利]一种开放环境下的多相机间的颜色校准方法

摘要

本发明公开了一种开放环境下的多相机间的颜色校准方法，具体步骤是：首先，采用爱色丽24色标准色卡对单相机进行白平衡校准，解决相机间物理参数不一致的问题。其次，获取不同相机在不同监控场景下爱色丽24色标准色卡数据，通过人机交互的方式获得色卡的位置，计算色卡中每个色块的位置和颜色平均值，得到两个场景、多个相机下各24个颜色值，用多项式回归的方法求取相机间色彩映射关系，并对各个相机进行颜色校准。最后，通过基于H和S的颜色匹配方法找出两个场景中具有相似颜色的区域，并通过在线检测相似颜色匹配区域中的像素色彩的变化，自适应地调整色彩校准参数，保证监控系统中的多相机在开放环境下，各个相机的颜色一致性。

主权项

1.一种开放环境下的多相机间的颜色校准方法，其特征在于，该方法按照以下步骤具体实施：步骤1、进行每个相机的物理特性校正对于监控系统中的多个相机，首先用每个待安装的单相机拍摄一次爱色丽24色标准色卡，将最下行的第一个灰色色块的像素值采集到后，按照下式分别求R，G，B三个颜色通道的平均值：R‾=1Nw·Σ(x,y)∈ΩR(x,y)---(1)]]>G‾=1Nw·Σ(x,y)∈ΩG(x,y)---(2)]]>B‾=1Nw·Σ(x,y)∈ΩB(x,y)---(3)]]>其中，Ω为第19个色块所在的区域，N_w为其像素个数总数，之后，按照下式进行白平衡处理：R*(x,y)=RwR‾·R(x,y),]]>x＝1，2，...，m，y＝1，2，...，n    (4)G*(x,y)=GwG‾·G(x,y),]]>x＝1，2，...，m，y＝1，2，...，n    (5)B*(x,y)=BwB‾·B(x,y),]]>x＝1，2，...，m，y＝1，2，...，n    (6)其中，m，n分别为图像的行数和列数，R(x，y)，G(x，y)，B(x，y)分别为采集到的图像的三个颜色通道在(x，y)位置上的像素值，R_w，G_w，B_w表示参考白色值，R^*(x，y)，G^*(x，y)，B^*(x，y)分别为相应的处理结果；步骤2、进行多相机间的颜色校正将每个经过白平衡校正后的相机在监控环境中进行无重叠固定，选定某一个相机作为颜色的基准，其他相机的颜色向其进行转换，以下以两个相机的校准过程来说明，多个相机的情况采用相同的方法，2.1)确定色卡中每个色块的中心点位置使用不同的相机在不同环境下拍摄24色标准色卡，通过人机交互指定色卡在场景中的位置，假设某一相机中色卡的左上角坐标为(x₁，y₁)，右下角坐标为(x₂，y₂)，由于24色标准色卡中每行有6个色块，每列有4个色块，通过色卡左上角和右下角的坐标计算出每个色块的长、宽为：l＝(y₂-y₁)/6，w＝(x₂-x₁)/4，(7)计算每个色块的中心点位置(x_k，y_k)，k＝1，2，...，24；x_i＝x₁+(i-1)·w+w/2，x_k＝x_i，k＝6·(i-1)+j，i＝1，2，3，4；(8)y_j＝y₁+(j-1)·l+l/2，y_k＝y_j，k＝6·(i-1)+j，j＝1，2，3，4，5，6；(9)2.2)计算每个色块的颜色均值：R‾k=1Nk·Σ(x,y)∈ΩkR(x,y),]]>k＝1，2，...，24，(10)G‾k=1Nk·Σ(x,y)∈ΩkG(x,y),]]>k＝1，2，...，24，(11)B‾k=1Nk·Σ(x,y)∈ΩkB(x,y),]]>k＝1，2，...，24，(12)其中，Ω_k为第k个色块中以中心点(x_k，y_k)为中心的9×9的邻域，N_k为Ω_k中的像素个数；2.3)建立各个相机间的颜色映射关系在分别得到不同环境的两个相机下的24色色卡的颜色值之后，采用七次多项式算法建立颜色映射关系，设相机1中的色卡颜色值为相机2中的色卡颜色值为以相机1中的颜色为基准，其他相机颜色向其进行转换，七次多项式表达式如下：P(x，y，z)＝a₀+a₁x+a₂y+a₃z+a₄xy+a₅yz+a₆zx，(13)其中，x，y，z为用于建立多项式关系的已知量，a₀，a₁ΛΛa₆为需要求解的多项式系数，相机1与相机2的颜色映射关系如下：R‾1,k=aR0+aR1R‾2,k+aR2G‾2,k+aR3B‾2,k+aR4R‾2,kG‾2,k+aR5G‾2,kB‾2,k+aR6B‾2,kR‾2,k]]>k＝1，2，...，24，(14)G‾1,k=aG0+aG1R‾2,k+aG2G‾2,k+aG3B‾2,k+aG4R‾2,kG‾2,k+aG5G‾2,kB‾2,k+aG6B‾2,kR‾2,k]]>k＝1，2，...，24，(15)B‾1,k=aB0+aB1R‾2,k+aB2G‾2,k+aB3B‾2,k+aB4R‾2,kG‾2,k+aB5G‾2,kB‾2,k+aB6B‾2,kR‾2,k]]>k＝1，2，...，24，(16)将多项式回归用矩阵形式表示，则系数A＝[a_i0，a_i1，a_i2，a_i3，a_i4，a_i5，a_i6，]^T，i＝R，G，B可由下式求得：A＝(VV^T)^-1(VP)，(17)其中，V=1111ΛΛ1R‾2,1R‾2,2R‾2,3R‾2,4ΛΛR‾2,24G‾2,1G‾2,2G‾2,3G‾2,4ΛΛG‾2,24B‾2,1B‾2,2B‾2,3B‾2,4ΛΛB‾2,24R‾2,1G‾2,1R‾2,2G‾2,2R‾2,3G‾2,3R‾2,4G‾2,4ΛΛR‾2,24G‾2,24G‾2,1B‾2,1G‾2,2B‾2,2G‾2,3B‾2,3G‾2,4B‾2,4ΛΛG‾2,24B‾2,24B‾2,1R‾2,1B‾2,2R‾2,2B‾2,3R‾2,3B‾2,4R‾2,4ΛΛB‾2,24R‾2,247×24,]]>求解R分量的对应关系时，P=R‾1,1R‾1,2R‾1,3R‾1,4ΛΛR‾1,24T;]]>求解G分量的对应关系时，P=G‾1,1G‾1,2G‾1,3G‾1,4ΛΛG‾1,24T;]]>求解B分量的对应关系时，P=B‾1,1B‾1,2B‾1,3B‾1,4ΛΛB‾1,24T;]]>经过三次求解，即解得RGB的多项式的系数，这样就建立起了两个相机之间的颜色映射关系；步骤3：进行相似颜色区域的匹配在通过多项式方法对不同相机采集的不同场景颜色进行校准后，获得了当前时刻不同环境下的颜色一致性校正，但随着时间的变化，光照和环境也会随之变化，为此，采用一种适应环境变化的颜色在线校正方法，仍旧假设以相机1的色彩为基准，3.1)进行颜色空间的转换将图像从RGB颜色空间转换到HSV颜色空间，转换公式如下：V=13(R+G+B),---(18)]]>S=1-3min(R,G,B)R+G+B,---(19)]]>H=θG≥B2π-θG<B,]]>θ=cos-1[12[(R-G)+(R-B)](R-G)2+(R-B)(G-B)],---(20)]]>3.2)确定相近色的匹配区域以矢量P＝[S，H]^T作为图像的颜色特征，并将S，H进行L个级别的量化，即：S^=(L-1)·int(S/maxS),---(21)]]>H^=(L-1)·int(H/maxH),---(22)]]>其中，int()为取整数函数，量化级别L的大小根据项目所需要的跟踪精度确定，分别计算相机1的矢量和相机2的矢量选择出满足以下关系的像素集合：Ωc1={(x,y)|(x,y)∈F1,||P^1-P^2||<ϵ},---(23)]]>Ωc2={(x,y)|(x,y)∈F2,||P^1-P^2||<ϵ},---(24)]]>其中，F₁为图像1，F₂为图像2，Ω_c1是图像1中与图像2相似的像素点集合，Ω_c2是图像2中与图像1相似的像素点的集合，ε为相似程度偏差阈值，取比L低一个的数量级，如果L＝10，则ε＝1；步骤4：进行开放环境下的颜色校准系统在监控过程中，在线统计Ω_c2中的像素不满足的像素个数，如果超过集合Ω_c2像素个数40％的话，则表明环境发生了较大的变化，这时，做如下的颜色校准：4.1)先计算相机1中Ω_c1的像素颜色值均值，按照公式(10)、(11)、(12)，令Ω_k＝Ω_c1，设为再计算相机2中Ω_c2的像素颜色值均值，按照公式(10)、(11)、(12)，令Ω_k＝Ω_c2，设为4.2)计算相机间的颜色校正参数：KR=R‾c1R‾c2,---(25)]]>KG=G‾c1G‾c2,---(26)]]>KB=B‾c1B‾c2;---(27)]]>4.3)对相机2的颜色进行校正：R^*(x，y)＝K_R·R(x，y)，x＝1，2，...，m，y＝1，2，...，n，(28)G^*(x，y)＝K_G·G(x，y)，x＝1，2，...，m，y＝1，2，...，n，(29)B^*(x，y)＝K_B·B(x，y)，x＝1，2，...，m，y＝1，2，...，n，(30)其中，m，n分别为图像的行数和列数，R(x，y)，G(x，y)，B(x，y)分别为采集到的图像的三个颜色通道在(x，y)位置上的像素值，R^*(x，y)，G^*(x，y)，B^*(x，y)分别为相应的处理结果。