[发明专利]一种基于核相关滤波和结构相似性的视频抖动检测方法

权利要求书

1.一种基于核相关滤波和结构相似性的视频抖动检测方法，其特征包括如下步骤：

步骤1：读取视频中的第1帧图像，选取图片固定不动的目标，设置矩形区域R＝(x₀,y₀,w,h)，从第1帧图像中截取区域R对应的子图像，保存为采样图像X，同时保存作为模板图像T；其中，w和h分别图像X和T的宽度和高度，(x₀,y₀)表示区域R左上角在第1帧图像中的坐标；定义搜索区域为S＝(x_s,y_s,w_s,h_s)，其中，(x_s,y_s)表示搜索区域S的左上角坐标，w_s和h_s分别表示搜索区域S的宽度和高度，(x_s,y_s,w_s,h_s)根据公式(1)计算；

步骤2：利用核相关滤波算法，从模板图像T中提取出每个像素点对应的HOG特征值为PT＝{Z_rs|r＝1,2,...,w；s＝1,2,...,h}，其中，Z_rs表示坐标(r,s)处的像素点对应的HOG特征值的大小；

步骤3：读取视频中的下一帧图像，记为图像Q；

步骤4：在图像Q的搜索区域S中，利用核相关滤波算法，输出搜索区域中每个像素点对应的HOG特征值为PQ＝{Z_ij|i＝1,2,...,w_s；j＝1,2,...,h_s}，其中，Z_ij表示坐标(i,j)处的像素点对应的HOG特征值的大小；

步骤5：利用滑动窗口的方法，令PT在PQ上滑动，将PT和PQ中的对应元素相减，其步长设置为1，将相减得到的新矩阵的每个元素相加，滑动结束后最终得到矩阵AP＝{A_cv|c＝1,2,...,w_d；v＝1,2,...,h_t}，其中，A_cv表示以左上角坐标为(c,v)、宽度和高度分别w和h的两个矩形区域做差后内部所有元素的相加，w_d＝w_s-w，h_t＝h_s-h；

步骤6：模板图像T在图像Q的搜索区域S中使用滑动窗口的方法进行SSIM指数的计算，步长设置为1，计算公式如式(4)所示，得到矩阵IM＝{I_cv|c＝1,2,...,w_d；v＝1,2,...,h_t}，其中，I_cv表示以左上角坐标为(c,v)、宽度和高度分别w和h的两幅图像的SSIM指数；

其中，Q_μ指模板图像T在图像Q的搜索区域S中滑动过程中对应的区域，μ＝1,2,…,E，E＝w×h，μ_T、μ_Q分别指图像T和Q_μ的灰度均值，分别指图像T和Q_μ的灰度方差，指图像T和Q_μ的协方差；

步骤7：特征融合部分，将AP与IM两个矩阵对应位置的A_cv与I_cv根据公式(5)加权融合得到矩阵FI＝{F_cv|c＝1,2,...,w_d；v＝1,2,...,h_t}，其中，F_cv表示HOG特征值和SSIM指数的融合特征；根据式(6)计算得到坐标(c,v)对应于图像Q中的像素点坐标P_cv＝(x_c,y_v)；

其中，F_cv为融合结构特征后的值，ω_A和ω_i分别为HOG特征和SSIM特征的权值；

步骤8：提取出矩阵FI中最小值F_cv及其对应的像素点坐标P_cv；

步骤9：将w和h分别放大1.05倍，重新执行步骤4到步骤8，得到矩阵FI中的最小值及其对应的像素点坐标将w和h分别缩小为最初的0.95倍，重新执行步骤4到步骤8，得到矩阵FI中的最小值及其对应的像素点坐标令将对应的像素点坐标记为其中，min表示取最小值；

步骤10：在图像Q中选取矩形区域R_l作为检测到的目标位置，其中，矩形区域R_l＝(x_lc,y_lv,w_l,h_l)，(x_lc,y_lv)代表左上角顶点坐标，w_l和h_l分别表示矩形区域R_l的宽和高；其中，w_l和h_l根据式(7)和(8)计算，U表示区域扩展倍数；

步骤11：将步骤1中的起始模板位置(x₀,y₀)与根据式(9)进行计算，输出两者差值的模，判断模的值是否超过阈值，如果超过则检测到抖动，否则跳转至步骤3；

其中，Yu是模板图像左上顶点坐标位置和目标图像左上顶点坐标位置的模。