[发明专利]一种针对视频运动目标的主题挖掘及行为分析方法

权利要求书

1.一种针对视频运动目标的主题挖掘及行为分析方法，其特征在于，包括以下步骤：

S1)获取视频帧序列，提取所述视频帧序列的特征矩阵Y；

S2)利用特征矩阵Y进行主题挖掘，获得主题矩阵w；

S3)利用所述主题矩阵w对所述视频帧序列进行行为分析，获得视频运动目标的行为类别；

步骤S3)中，利用所述主题矩阵w对所述视频帧序列进行行为分析，得到视频运动目标的行为类别，包括以下步骤：

S31)根据主题矩阵w获得所述视频帧序列I中对应的视频帧片段索引e^*，将索引e^*对应的视频帧片段记为I(e^*)，y_q为特征矩阵Y中的第q列向量，q∈[1,N]，w_e为主题矩阵w的第e列向量；

S32)将运动目标类别数记为T，获取一个已训练完成的目标识别网络模型和一个已训练完成的场景识别网络模型

S33)设每种运动目标的行为种类为M种，获取T个已训练完成的多分类深度学习分类网络模型，将所述T个已训练完成的多分类深度学习分类网络模型记为网络模型集合

S34)利用所述目标识别网络模型和所述场景识别网络模型对视频帧片段I(e^*)进行识别，分别得到目标识别结果向量和场景识别结果向量

S35)从所述网络模型集合中获取与所述视频帧片段I(e^*)对应的多分类深度学习分类网络模型

S36)利用与所述视频帧片段I(e^*)对应的多分类深度学习分类网络模型对视频帧片段I(e^*)进行行为识别，获得视频运动目标的行为类别。

2.根据权利要求1所述的针对视频运动目标的主题挖掘及行为分析方法，其特征在于，步骤S1)中，获取视频帧序列，提取所述视频帧序列的特征矩阵Y，包括以下步骤：

S11)获取包含视频运动目标运动的视频帧序列I(x,y,t)，将所述视频帧序列I(x,y,t)切分为N个视频帧片段，x、y分别表示空间维度中的x坐标和y坐标，t表示时间；

S12)对所述视频帧序列I(x,y,t)进行高斯卷积，获得所述视频帧序列I(x,y,t)的高斯卷积结果其中σ²,τ²分别为视频帧序列I(x,y,t)空间维度和时间维度的方差，f(·)为将视频帧序列I(x,y,t)映射到图像序列中的对应像素点的映射函数；

S13)根据所述视频帧序列I(x,y,t)的高斯卷积结果计算三维时空二阶矩矩阵；

S14)获取所述三维时空二阶矩矩阵的特征值，构造与特征值相关的判别函数，获得所述判别函数在时间和空间上的所有正极大值点，将所述正极大值点作为检测到的兴趣点，获得视频帧序列的所有兴趣点，所述正极大值点所对应的视频帧序列中的位置为检测到的兴趣点的位置；

S15)对视频帧序列的所有兴趣点分别提取特征联合描述子，获得视频帧序列的特征联合描述集合{z}＝{z₁,z₂,…z_v,…,z_N},z_v表示第v个视频帧片段的特征联合描述子集合，表示第v个视频帧片段的第i个兴趣点的特征联合描述子，M为第v个视频帧片段的兴趣点总数，i∈{1,2,…,M}，v∈{1,2,…,N}；

S16)利用K-均值方法对视频帧序列的特征联合描述集合{z}进行聚类，获得K个聚类中心的聚类结果B＝[b₁、b₂、…、b_K]，b_k表示第K个聚类中心的特征向量，K∈R⁺；

S17)根据所述K个聚类中心的聚类结果B计算第v个视频帧片段的编码向量c_i为中间编码向量，中间编码向量c_i满足

S18)对所述第v个视频帧片段的编码向量C_v进行归一化，得到归一化后的编码向量

S19)依次重复步骤S17)至步骤S18)，获得所有视频帧片段归一化后的编码向量，利用所述所有视频帧片段归一化后的编码向量构建特征矩阵Y，所述特征矩阵Y∈R^K×N。