[发明专利]基于方向性共同发生特征的人体行为分类识别方法及系统

权利要求书

1.一种基于方向性共同发生特征的人体行为分类识别方法，其步骤包括：

1）在视频序列中检测人体目标；

2）对包含人体目标的时空域提取时空兴趣点；

3）提取时空兴趣点的HOG和HOF特征，并将时空兴趣点聚类成若干类别；

4）对于具有不同类别标签的时空兴趣点对，统计其出现在相同帧时的方向信息；

5）利用所述方向信息统计方向性时空点对特征直方图，得到针对输入视频的特征描述；

6）利用词袋模型将局部特征的个数直方图分布作为整体的特征表达，将该词袋模型中的直方图特征换成由步骤1）～5）得到的方向性时空点对特征直方图，针对不同类别行为进行训练，得到不同行为类别对应的特征描述；

7）当输入测试视频时，根据步骤1）～5）提取得到该视频的特征描述，然后与步骤6）得到的不同类别行为的特征描述模板进行最近邻匹配，匹配度最高的即为该视频对应的行为类别。

2.如权利要求1所述的方法，其特征在于：所述时空兴趣点是时空域中灰度变换剧烈的点。

3.如权利要求1所述的方法，其特征在于：所述时空兴趣点对的方向性是指两点在空间中的上下或左右关系。

4.如权利要求3所述的方法，其特征在于：当两点空间中的垂直距离小于一定阈值时，考虑左右关系；当两点空间中的水平距离也小于一定阈值时，在统计方向性时空点对特征直方图时舍弃该点对。

5.如权利要求1所述的方法，其特征在于：使用均值聚类方法对时空兴趣点进行聚类。

6.如权利要求5所述的方法，其特征在于：所述时空兴趣点的聚类个数为400～1000。

7.如权利要求1所述的方法，其特征在于，步骤5）使用如下方法提取方向性时空点对特征直方图：

a）对具有不同类别标签的共发生点对，由公式（1）计算得到方向性点对特征，并由公式（2）计算得到阈值T；

b）由公式（3）得到整个输入视频中方向性共同发生特征的统计量N；

c)由公式（4）和（5）得到基于统计量N的概率分布P；

d)由公式（6）得到最终特征描述H，H由P级联组成；

其中公式（1）～（6）如下所示：

T=Σi=1KΣj=1KΣ∀pti∈Si,∀ptj∈Si|xpti-xptj|Σi=1KΣj=1KΣ∀pti∈Si,∀ptj∈Sj1---(2)]]>

N(i,j)=Σ∀pti∈Si,∀ptj∈Sin(pti,ptj)---(3)]]>

P(DPFist|DPFs)=Σj=1KN(i,j)Σj=1K{N(i)·N(j)}---(4)]]>

P(DPFien|DPFs)=Σj=1KN(j,i)Σj=1K{N(i)·N(j)}---(5)]]>

H={{P(DPFist|DPFs)}i=1K,{P(DPFien|DPFs)}i=1K}---(6)]]>

其中，代表标签为i的时空兴趣点，且分别代表该点的横纵坐标和所在的帧数；T为阈值，表征空间点对的平均距离；K为聚类个数；N(i)和N(j)分别代表类别为i和j的时空兴趣点个数；n(pt_i,pt_j)代表由类别i指向类别j的共同发生特征个数；N(i,j)代表方向性共同发生特征的统计量；代表方向性共同发生特征中以标签i作为起点的概率；代表方向性共同发生特征中以标签i作为终点的概率；H为最终表达视频中人体行为的特征向量。