[发明专利]一种操作动作辨识方法及装置

说明书

本发明提供一种操作动作辨识方法及装置。所述方法包括：获取待识别的视频片段，其中，所述待识别的视频片段中包含一种动作类型；根据所述待识别的视频片段和预先建立的动作识别标识模型，识别出所述待识别视频的动作类型。本发明提供的操作动作辨识方法及装置能够从像素级原始数据到抽象的语义概念逐层提取信息，其所抽取的特征比人工设计的特征更具有高效的表达能力，能快速准确地对操作动作进行辨识。

技术领域

本发明涉及机器视觉模式技术领域，具体涉及一种操作动作辨识方法及装置。

背景技术

城市轨道交通承担了城市内部与城郊之间大规模的运输任务，是现代城市公共客运交通体系的重要组成部分，保证其运行安全尤为重要。根据我国轨道交通系统事故统计数据，导致重大行车事故的原因中，列车司机的操作失误等人为因素占有主要比例。因此，实时监测列车司机，及早发现其操作失误并给予警示与纠正，对减少安全事故及人员伤亡有着十分重要的现实意义。

然而现有的司机监测系统，大多用于监测司机的身体状态。例如高速列车的防猝死系统，该系统只能简单的辨识司机的存活情况；还有一些穿戴式设备，通过测量司机的心电与脉搏信号，从而判断司机的当前工作状态，但是该设备严重影响司机对列车的操作。由于人体运动的复杂性和不确定性，动作识别则是一个具有较高难度的课题，现阶段没有一套成熟的设备可以直接辨识列车司机的操作动作。

在一般性的动作识别方面，大多数方法都致力于设计有效的运动特征，然后通过该特征进行动作分类。例如密集轨迹(DT)算法，将运动数据进行动态时间规整(DTW)，随后提取其图像灰度直方图(HOG)、光流正方图(HOF)以及光流梯度直方图(MBH)，最后将其编码，从而得到运动描述特征并进行分类。这些方法的识别精度依赖于运动特征的好坏，针对不同场景需要进行不同优化，因此泛用性较差。此外，动作识别的精确度也依赖于所才采集数据的维度，包含深度信息三维数据或者基于双目视觉的运动数据就比普通单目视觉的运动数据能够记录更多的相对位置信息，因此更容易被辨识，然而其所需要的传感器也更加复杂，不便于加装在地铁司机内。

因此，如何提出一种方法，能够快速识别操作动作的种类，成为亟待解决的问题。

发明内容

针对现有技术中的缺陷，本发明提供了一种操作动作辨识方法及装置。

第一方面，本发明提供一种操作动作辨识方法，包括：

获取待识别的视频片段，其中，所述待识别的视频片段中包含一种动作类型；

根据所述待识别的视频片段和预先建立的动作辨识模型，识别出所述待识别视频的动作类型。

第二方面，本发明提供一种操作动作辨识装置，包括：

获取模块，用于获取待识别的视频片段，其中，所述待识别的视频片段中包含一种动作类型；

识别模块，用于根据所述待识别的视频片段和预先建立的动作辨识模型，识别出所述待识别视频的动作类型。

本发明提供的操作动作辨识方法及装置，基于深度学习网络，融合3D卷积神经网络和长短时记忆网络。相比于传统的动作辨识算法，深度学习能够从像素级原始数据到抽象的语义概念逐层提取信息，其所抽取的特征比人工设计的特征更具有高效的表达能力，因此在图像识别方面有突出的优势。此外，3D卷积神经网络能够获取连续的图像帧，比只读取单一图像的卷积神经网络多获取了时序上的信息。而后，长短时记忆网络可以应对不同速率的运动形式，因此本发明提供的网络在实现动作检测的基础上，结构清晰，复杂度低，端对端运行，极大程度地简化了辨识算法流程。

附图说明