[发明专利]一种视频物体分类方法及装置

权利要求书

1.一种视频物体分类方法，其特征在于，包括：

提取目标视频中的关键帧，并利用预设卷积神经网络对所述关键帧进行图像特征提取得到多层特征图，其中，各层特征图包含的局部特征不同；

对所述各层特征图包含的局部特征进行加权融合得到融合特征；

对所述融合特征进行降维处理得到降维结果，其中，所述降维结果中携带有空间时序特性；

对所述降维结果进行聚类得到所述关键帧包含的所有像素的分类结果；

其中，所述提取目标视频中的关键帧的步骤，包括：

确定聚类类别个数m，提取所述目标视频中的每个视频帧的颜色特征值，其中，m为正整数；

从提取的颜色特征值中选取m个颜色特征值分别作为m个类别的聚类中心；

将所述目标视频帧中的第一帧视频帧作为当前视频帧，计算所述当前视频帧的颜色特征值到各聚类中心之间的欧式距离，将所述当前视频帧划分到距离自身的欧式距离最小的聚类中心所在的类别中，计算该类别包含的所有视频帧的颜色特征值的算数平均值，并将所述算数平均值更新为该类别的聚类中心；

将所述当前视频帧的下一视频帧作为当前视频帧，返回执行所述计算所述当前视频帧的颜色特征值到各聚类中心之间的欧式距离的步骤，直至所有视频帧分类完成，将各类别中距离该类别的聚类中心的欧氏距离最小的视频帧作为关键帧。

2.根据权利要求1所述的方法，其特征在于，所述预设卷积神经网络为利用ImageNet数据库进行训练所形成的卷积神经网络。

3.根据权利要求1或2所述的方法，其特征在于，所述对所述各层特征图包含的局部特征进行加权融合得到融合特征的步骤，包括：

利用双向特征金字塔网络对所述关键帧的各层特征图包含的局部特征进行加权融合得到融合特征。

4.根据权利要求1所述的方法，其特征在于，所述对所述融合特征进行降维处理得到降维结果的步骤，包括：

采用自表达子空间聚类算法以及长短期记忆人工神经网络对所述融合特征进行降维处理得到降维结果。

5.根据权利要求4所述的方法，其特征在于，所述采用自表达子空间聚类算法以及长短期记忆人工神经网络对所述融合特征进行降维处理得到降维结果的步骤，包括：

将所述融合特征输入至长短期记忆人工神经网络中，通过反向传播方法求解得到带有空间时序特征的优化特征；

利用自表达子空间聚类算法对所述优化特征进行降维处理得到低维子空间表达矩阵。

6.根据权利要求1所述的方法，其特征在于，所述对所述降维结果进行聚类得到所述关键帧包含的所有像素的分类结果的步骤，包括：

采用谱聚类算法对所述降维结果进行聚类得到所述关键帧包含的所有像素的分类结果。

7.根据权利要求6所述的方法，其特征在于，所述采用谱聚类算法对所述降维结果进行聚类得到所述关键帧包含的所有像素的分类结果的步骤，包括：

根据所述降维结果计算出相似度矩阵；

根据所述相似度矩阵计算出度矩阵；

根据所述相似度矩阵和所述度矩阵计算出拉普拉斯矩阵；

将所述拉普拉斯矩阵的特征值按照从小到大的顺序进行排列，提取前k个特征值对应的特征向量，其中，k为正整数；

对所述特征向量进行聚类，得到所述关键帧包含的所有像素的分类结果。