[发明专利]同类行为多视图间相似度挖掘方法及行为识别方法

权利要求书

1.一种同类行为多视图间相似度挖掘方法，其特征在于，所述方法包括下述步骤：

a1、获取同类行为不同视角下的多段视频流，每段视频流对应于一个视角下的视图，对每个视图中的每帧图像作灰度变换，获得多帧灰度图像；

a2、逐帧计算每帧灰度图像中每个像素点的Hessian矩阵，对每个Hessian矩阵计算矩阵行列式值的绝对值，作为每个像素点的Hessian矩阵响应；

a3、将Hessian矩阵响应与设定响应阈值进行比较，大于设定响应阈值的Hessian矩阵响应对应的像素点作为特征点，获得每个视图中的所有特征点；

a4、构建每个特征点的时空特征描述符，将每个视图中每帧图像所包含的所有特征点的时空特征描述符进行降维，获得该帧图像的姿态描述向量；

a5、将每个视图内每帧图像的姿态描述向量作为底层特征，根据下式计算相似度递归图矩阵                                                ：

式中，、为该同类行为下的第个和第个视图，是第个或第个视图内第帧图像和第帧图像的姿态描述向量的自相似度距离、或是第个视图内第帧图像和第个视图内第帧图像的姿态描述向量的互相似度距离，，，为每个视图中所包含的视频帧数；

a6、以相似度递归图矩阵中对角线上的每个矩阵元素为圆心，依次划定半径为r的个半圆形邻域； 

a7、计算每个邻域内所包含的矩阵元素的梯度方向分布向量，作为一个递归性描述符，个半圆形邻域共获得个递归性描述符；

a8、按照上述步骤a5至步骤a7依次获得所有相似度递归图矩阵的递归性描述符，所有递归性描述符构成不同视图下该同类行为的相似度特征集； 

a9、对相似度特征集进行聚类，获得M个相似度特征子集合。

2.根据权利要求1所述的相似度挖掘方法，其特征在于，在所述步骤a7中，在计算每个邻域内所包含的矩阵元素的梯度方向分布向量时，首先将每个半圆形邻域划分为若干个子区域，计算每个子区域内所包含的矩阵元素的梯度方向分布向量，将360°范围内的梯度方向分为若干个方向区域，计算位于每个方向区域内的分布向量的个数与该子区域内所有矩阵元素的比值，将各比值构成一个子向量，各子区域的子向量级联为一个向量，构成该半圆形邻域的递归性描述符，个半圆形邻域共获得个递归性描述符。

3.根据权利要求1所述的相似度挖掘方法，其特征在于，在所述步骤a5中，，所述相似度递归图矩阵为自相似度递归图矩阵。

4.根据权利要求1至3中任一项所述的相似度挖掘方法，其特征在于，在所述步骤a3中，首先将每帧图像划分为若干个单元区域，获得每个单元区域所含像素点的Hessian矩阵响应的极大值，并将该极大值对应的像素点作为局部极值点，然后，再将局部极值点的Hessian矩阵响应与设定响应阈值进行比较，大于设定响应阈值的Hessian矩阵响应对应的局部极值点作为特征点。

5.一种基于上述权利要求1至4中任一项所述的相似度挖掘方法的行为识别方法，包括利用训练样本获得分类器和分类模板的训练过程及利用分类器和分类模板识别测试样本的识别过程，其特征在于，所述训练过程包括下述步骤：

b1、获取已知类型的某类行为的多视图对应的训练样本视频流，挖掘该训练样本视频流多视图间的相似度特征集；

b2、对相似度特征集中的所有递归性描述符进行聚类，获得M个相似度特征子集合；

b3、采用高斯混合模型对每个相似度特征子集合建模构建分类器，共获得M个分类器;

b4、计算每一个相似度特征子集合所包含的描述符个数与相似度特征集中所有描述符总个数的比值，获得M个比值构成的向量，作为该类行为的模板；

b5、重复上述步骤b1至b4，获得其他已知类型的行为的M个分类器及模板；

所述识别过程包括下述步骤：

c1、获取一段待识别行为的测试样本视频流，挖掘该测试样本视频流多视图间的相似度特征集；

c2、利用某已知类型行为的M个分类器对测试样本中的相似度特征集进行分类，计算每一类中所包含的描述符个数与测试样本相似度特征集中描述符总个数的比值，获得M个比值构成的向量；

c3、计算该向量与该已知类型行为的模板的匹配相似度；

c4、重复步骤c2和c3，获得测试样本视频流的向量与其他已知类型行为的模板的匹配相似度；

c5、读取多个匹配相似度中的最大值，并与设定匹配相似度阈值进行比较，根据比较结果识别出测试样本视频流对应的行为。