[发明专利]基于FPGA的场景非均匀性校正方法及其装置

权利要求书

1.一种基于FPGA的场景非均匀性校正方法，其特征在于，包括以下步骤：

步骤1，将每帧原始图像数据叠加上参数存储SRAM中的校正参数，将校正后的图像数据送往监视器进行显示；

步骤2，将校正后的相邻两帧图像数据依次存入图像存储SRAM的低地址和高地址；

步骤3，确定图像存储SRAM中两帧图像数据各自的行投影向量和列投影向量，对形成的四个投影向量分别进行滤波，并存入与各投影向量对应的内部RAM；

步骤4，根据内部RAM中存储的投影向量，确定两帧图像对应行投影向量之间的行相关矩阵、两帧图像对应列投影向量之间的列相关矩阵，并得到两帧图像的相对位移；

步骤5，判断相邻两帧图像的重叠区，确定该两帧图像的最小误差矩阵，并更新参数存储SRAM中的校正参数；

步骤6，参数存储SRAM中属于相邻两帧图像的重叠区的校正参数更新完成之后，返回步骤1，对新一帧图像进行非均匀性校正。

2.根据权利要求1所述的基于FPGA的场景非均匀性校正方法，其特征在于，步骤1所述将每帧原始图像数据叠加上参数存储SRAM中的校正参数，具体为：对输出的原始图像数据Y_n(i,j)进行校正，得到校正后图像数据X_n(i,j)，校正公式如下：

X_n(i,j)＝w_n(i,j)·Y_n(i,j)+b_n(i,j)(1)

式中，b_n(i,j)为第(i,j)个像元的偏置校正参数，w_n(i,j)为第(i,j)个像元的增益校正参数，i为行序号，j为列序号，下标n表示第n帧图像。

3.根据权利要求1所述的基于FPGA的场景非均匀性校正方法，其特征在于，步骤3所述确定图像存储SRAM中两帧图像数据各自的行投影向量和列投影向量，对形成的四个投影向量分别进行滤波，并存入与各投影向量对应的内部RAM，以上三步采用多级流水线数据排布结构，具体过程为：

步骤(3.1)，将滤波器用查找表的形式存放在FPGA中；

步骤(3.2)，从图像存储SRAM中按照行或列的方向进行寻址，确定该行的行投影向量或该列的列投影向量公式如下：

式中i为行序号，j为列序号，p_x(i,j)为该幅图像坐标为(i,j)的像素值，x表示相邻两帧图像的序号且x＝1,2，下标1为低地址图像即第n-1帧图像的序号，下标2为高地址图像即第n帧图像的序号；M为图像总行数，N为总列数；

步骤(3.3)，每得到一行或一列的投影向量后，利用查找表中对应滤波器对该投影向量进行滤波；对于列投影向量滤波公式如下：

对于行投影向量滤波公式如下：

式中，δ_row为行方向位移最大值，δ_col为列方向位移最大值；

步骤(3.4)，将滤波后的投影向量存入对应的内部RAM，循环步骤(3.2)～(3.4)直至行寻址和列寻址均遍历两帧图像；其中低地址图像的行投影向量存入第一内部RAM，低地址图像的列投影向量存入第二内部RAM，高地址图像的行投影向量存入第三内部RAM，高地址图像的列投影向量存入第四内部RAM。

4.根据权利要求3所述的基于FPGA的场景非均匀性校正方法，其特征在于，步骤4中所述两帧图像的相对位移，具体确定过程如下：

步骤(4.1)，确定第一内部RAM和第三内部RAM中两帧图像对应行投影向量之间的行相关矩阵Cof_row(i)，以及第二内部RAM和第四内部RAM中两帧图像对应列投影向量之间的列相关矩阵Cof_col(j)，公式如下：

式中，下标1为低地址图像序号，下标2为高地址图像序号；

步骤(4.2)，获取行相关矩阵Cof_row(i)的最小值以及该最小值对应的行位置信息、列相关矩阵Cof_col(j)的最小值以及该最小值对应的列位置信息，然后确定两帧图像的相对位移，如下式所示：

式中，d_row为行偏移向量，d_col为列偏移向量。

5.根据权利要求1所述的基于FPGA的场景非均匀性校正方法，其特征在于，步骤5中所述判断相邻两帧图像的重叠区，确定该两帧图像的最小误差矩阵，并更新参数存储SRAM中的校正参数；以上三步采用多级流水线数据排布结构，具体过程为：

步骤(5.1)，根据步骤4所得两帧图像的相对位移，判断相邻两帧图像的重叠区，分别确定图像存储SRAM中低地址区的重叠区寻址范围和高地址区的重叠区寻址范围，包括以下4种判断：

若d_row<0且d_col<0，则：X1＝(1-d_row)～N，Y1＝(1-d_col)～M，X2＝1～(N+d_row)，Y2＝1～(M+d_col)；

若d_row<0且d_col>0，则：X1＝1～(N+d_row)，Y1＝(1+d_col)～M，X2＝(1-d_row)～N，Y2＝1～(M-d_col)；

若d_row>0且d_col<0，则：X1＝(1+d_row)～N，Y1＝1～(M+d_col)，X2＝1～(N-d_row)，Y2＝(1-d_col)～M；

若d_row>0且d_col>0，则：X1＝1～(N-d_row)，Y1＝1～(M-d_col)，X2＝(1+d_row)～N，Y2＝(1+d_col)～M；

其中，d_row为两帧图像的行偏移向量，d_col为两帧图像的列偏移向量；M为图像的行数，N为图像的列数；(X1，Y1)为图像存储SRAM中低地址区的重叠区寻址范围，(X2，Y2)为图像存储SRAM中高地址区的重叠区寻址范围；

步骤(5.2)，根据图像存储SRAM中低地址区的重叠区寻址范围和高地址区的重叠区寻址范围，确定两帧图像的最小误差矩阵：

①采用校正后的第n-1帧图像去配准第n帧图像，依次从两个图像存储SRAM中读取重叠区对应位置的像素值并相减，误差矩阵e_n(i,j)如下式所示：

e_n(i,j)＝X_n-1(i-d_row,j-d_col)-X_n(i,j)(7)

式中，X_n-1(i-d_row,j-d_col)为校正后的第n-1帧图像和第n帧图像的重叠区；i为行序号，j为列序号，下标n表示第n帧图像；

②将得到的结果求取绝对值并与阈值α进行比较，且50≤α≤200，若大于该阈值，将误差矩阵中该位置的值置零；若小于等于该阈值，将误差矩阵中该位置的值保留，得到修正后的误差矩阵；

③确定新的校正参数，公式如下：

b_n+1(i,j)为更新后的偏置校正参数，w_n+1(i,j)为更新后的增益校正参数，a为学习速率系数且1≤a≤2；

步骤(5.3)，将更新之后的参数存放到参数存储SRAM中相应的位置上，循环步骤(5.2)～步骤(5.3)，遍历图像存储SRAM中低地址区的重叠区寻址范围和高地址区的重叠区寻址范围，更新参数存储SRAM中重叠区的校正参数。