[发明专利]一种多近邻图约束矩阵分解的动作行为分割方法

说明书

本发明涉及人体行为分割技术领域，公开了一种多近邻图约束矩阵分解的动作行为分割方法，包括以下步骤：S1、通过行为动作序列数据，设计多图约束结构的约束正则项；S2、构造正则项约束semi‑NMF矩阵分解模型；S3、求解semi‑NMF矩阵分解模型获得行为序列的低维表示；S4、利用低维表示计算序列点相似性权重，生成相似关系矩阵；S5、根据相似关系矩阵，利用图分割的方法获得行为分割，这种动作行为的分割方法，动作序列内部少有错误划分的现象，能够把人体行为中较为相似的动作准确区分开来。

技术领域

本发明涉及人体行为分割技术领域，特别涉及一种多近邻图约束矩阵分解的动作行为分割方法。

背景技术

人体行为动作识别是一个多学科交叉的研究方向，涉及图像处理、计算机视觉、模式识别、机器学习、人工智能等多个学科，是计算机视觉领域的一个重要研究课题。随着图像处理技术和智能硬件制造技术的飞速发展，人体行为数据越来越丰富，种类越来越多。通常可以划分为传感器和视觉两种。基于传感器的行为识别利用所佩戴相应的传感器获得行为数据信息。而基于视觉的行为识别又可以分为基于单帧图像和视频的识别，基于单帧图像的行为识别不能有效获取行为图像之间的连贯信息，通常会产生误判，而基于视频的行为识别能够很好的获取视频中的空间和时间信息，准确率得到大大的提升。基于视频的行为分析由于扩展性强，灵活度高，得到了广泛的研究和应用。实际中，无论是传感器还是视觉采集的数据，人体行为数据都是一个序列数据集。

人体行为分割是对原始的人体运动捕捉数据进行精确的行为分割，是人体运动数据的结构化分析、理解、应用的基础，是国内外研究人员关注的热点。大量研究对此问题进行了深入的讨论，取得了系列成果，大致形成了三类方法。

针对原始人体运动捕捉数据维数高、处理计算量大的难题，一些研究者提出基于数据降维的分割方法。Barbic等认为不同的人体运动行为可以用不同的本征维数来表示，提出了PCA、PPCA和GMM等方法。这些方法通过主成分分析PCA(principal componentanalysis)对人体运动数据降维。假设：包含单个行为的运动序列的固有维数应该小于包含多个行为的运动序列的固有维度，因此，可以在子空间中通过投影误差来检测行为分割点的位置。杨涛等提出了一种基于分层曲线简化的运动捕捉数据提取关键帧的方法。基于PCA的方法对硬件的要求不高，实现也相对比较简单，对一些符合假设的应用可以轻易实现。

基于深度学习的方法是近年来研究的新热点。如TS-CNN方法，将低级编码视觉信息的时空CNN(ST-CNN)用于编码对象状态、位置和对象间关系的细粒度任务。引入捕获高级时间信息的半马尔可夫模型和条件随机场(CRF)共同分割并分类动作。TCN方法，引入ED-TCN和Dilated TCN编码和解码网络。Misra I等利用时间相干性信息来训练行为识别和姿态估计的深度模型。总之，基于深度学习的方法一般都使用CNN(或自动编码器)加其他机器学习方法的组合来实现行为分割，效果优于其他方法，但是对硬件配置的要求较高，而且依赖大量的数据，实现起来比较困难。

相较于上述两种思路，基于聚类方法具有相对简单，效果较好的特点，也是对人体行为分割的研究重点。如ACA(Aligned ClusterAnalysis)等基于两种扩展的kmeans聚类，确保聚类能够包含可变数量的特征。为了克服ACA的不足，Zhou等又提出了HACA方法。作为一类重要的方法，子空间聚类(subspace clustering)常被用于解决动作分割问题。Xia等提出了基于SSC(sparse subspace clustering，稀疏子空间聚类)的方法，通过SSC进行子空间聚类，再使用三角形约束解决在不同的时间段内相似帧不会被分到同一个簇，保证了时间上的连续性。考虑到人体行为序列是一种时间序列数据，邻近序列点之间包含相似性信息，一些方法设计针对序列数据的聚类算法并应用于人体行为分割。如OSC(OrderedSubspace Clustering)将近邻结构信息嵌入到子空间表示的优化目标中去。而Li等提出TSC(temporal subspace clustering)算法，采用不同的约束正则项，将序列数据之间的相似性约束嵌入到子空间投影过程中，从而可以获得较好的动作表示。