[发明专利]一种基于运动显著性区域检测的动作识别方法

摘要

本发明公开了一种基于运动显著性区域检测的动作识别方法，属于人体动作识别领域。该方法首先将图像按照5个的超像素尺度进行划分，并利用暗通道先验知识和区域对比度信息构筑相应的初始显著性图。参考影响因子矩阵和置信度矩阵的概念，引入一种基于元胞自动机理论的更新策略，进一步提高显著性图的准确性。之后采用贝叶斯理论实现各尺度显著性图的融合，并通过设置灰度阈值获得图像的二值分割图，得到当前视频序列的运动显著性子序列。最后，利用支持向量机多分类模型实现多种特征的评分级融合，进而获取测试样本的决策评分及分类标签。本发明基于改进显著性检测技术，对图像提取运动显著性区域，能够有效去除动作背景对识别造成的干扰，提高了系统的实时性。

主权项

一种基于运动显著性区域检测的动作识别方法，其特征在于：该方法的实现过程如下，首先，将图像按照5个的超像素尺度进行划分，并利用暗通道先验知识和区域对比度信息构筑相应的初始显著性图；参考影响因子矩阵和置信度矩阵的概念，引入一种基于元胞自动机理论的更新策略，进一步提高显著性图的准确性；之后采用贝叶斯理论实现各尺度显著性图的融合，并通过设置灰度阈值获得图像的二值分割图，得到当前视频序列的运动显著性子序列；在识别阶段，对运动显著性子序列提取局部稠密轨迹，以方向梯度直方图(Histogram of Gray，HOG)、光流方向直方图(Histogram of Flow，HOF)和运动边界直方图(Motion Boundary Histograms，MBH)为轨迹描述子，采用Fisher向量实现对特征描述子的编码，进而得到动作在不同意义上的中层语义表达；最后，利用支持向量机多分类模型实现多种特征的评分级融合，进而获取测试样本的决策评分及分类标签；(1)采用显著性检测技术完成视频图像预处理由于显著性检测的结果很大程度上会受到超像素个数的影响，为了充分融合不同尺度下的检测结果，首先对每个视频帧构造多个超像素尺度空间；之后采用暗通道先验信息获取动作的初始显著性图，并利用元胞自动机更新策略实现对显著性图的优化，进而得到每幅视频帧中的人体显著性运动区域，为后续的动作建模及分类提供可靠且有效的输入数据；基于显著性检测技术的视频图像预处理具体包括以下步骤：步骤一，设定图像中的超像素个数区间为[m，n]，以p个超像素为间隔，采用SLIC(Simple Linear Iterative Cluster)算法对每幅视频帧构造个超像素尺度空间；其中，m和n分别代表超像素个数区间的上限值和下限值；步骤二，利用暗通道先验原理，对每一个超像素尺度空间计算像素点x的初始显著性值x属于某一超像素图像块：其中y表示某超像素图像块的5×5邻域内任意一个像素点，TC(y)表示超像素C的邻域点y在r、g和b三个颜色通道下的归一化颜色值；此外，表示像素点x的初始显著性值，y∈Ω(x)表示超像素图像块内的点y属于图像像素全集Ω(x)，则各个超像素单元的平均暗通道值通过公式(2)计算得到：Ci表示第i个超像素图像块单元，G表示当前超像素Ci中所包含的像素点个数；结合高斯函数和中心先验信息设定超像素图像块Ci的分布权重函数为W(Ci)，则Ci区域内的初始显著性值Io(Ci)通过如下公式计算得出；式中，N表示被确定是背景部分的超像素数量，Ej表示第j个背景超像素图像块，j＝1...N；d(Ci，Ej)表示Ci和Ej两者之间的欧氏距离；由公式(3)得到图像全部超像素图像块的Io(Ci)，进而得到整幅图像的初始显著性图；步骤三，将超像素单元视为元胞，制定元胞自动机更新策略，实现对初始显著性图的优化，具体更新规则如下式所示；It+1＝R*·It+(H‑R*)·Z*·It    (4)设元胞自动机遍历图像一次所用时间为单位时间，则It+1和It分别表示第t+1和t次更新的显著性图，此时I0即为步骤二所得到的Io；H为单位矩阵，Z*和R*分别为影响因子矩阵和置信度矩阵，Z*计算过程如下：Z*＝D‑1·Z     (5)矩阵Z由若干zij构成；zij表示第i个元胞与第j个邻胞之间的影响因子，通过计算两者之间的欧氏距离倒数确定；D为对角矩阵，对角矩阵元素gi＝∑jzij，用于对Z做归一化处理；置信度矩阵R*是一个对角矩阵，其元素ri*由如下公式计算得到：ri*=α·ri-min(rj)max(rj)-min(rj)+β---(6)]]>其中α和β为设定的两个测试常数，rj表示邻胞的置信度；在各超像素尺度空间执行上述更新规则，得到个优化显著性图；步骤四，设一帧图像能够得到的一组优化显著性图{Mi}，其中则取其中任意的Mi作为贝叶斯先验概率，剩余优化后的显著性图Mj(j≠i)为观测似然概率；令Mi分别与不同的Mj执行基于概率评价的两两融合，得到属于Mi的个后验概率融合图，并将这些融合图进行相加后取平均值获取最终的动作显著性区域；(2)基于局部稠密轨迹特征的动作建模及分类稠密轨迹特征是一种局部时空特征，由图像空间的稠密采样点在时间轴上被跟踪而形成；这种稠密采样策略相比于传统的稀疏采样能够获取更加丰富的人体运动信息；首先对选取的动作数据集中的训练样本执行显著性检测处理，之后提取稠密轨迹特征，并选取多种描述符对所提轨迹进行描述；其次，采用Fisher编码策略获取不同描述符下的视频中层语义表达；最后，利用特征评分级融合策略实现动作分类。