[发明专利]一种头部动作识别方法、装置、设备及存储介质

说明书

本发明实施例公开了一种头部动作识别方法、装置、设备及存储介质，所述方法包括：获取视频流，提取所述视频流中的关键点信息，其中，所述视频流包含多个视频帧；基于所述关键点信息确定关键点在所述视频流中各视频帧中构成的至少一个头部姿态角的姿态角信息；基于各视频帧中所述姿态角信息识别头部动作，得到头部动作识别结果。本发明实施例提供的方法通过仅提取关键点，通过各视频帧中关键点位置关系的差异识别头部动作，实现了在保证识别准确率的同时，降低了信号采集的要求，提高了头部动作识别的通用性。

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种头部动作识别方法、装置、设备及存储介质。

背景技术

互联网开启了数字化的时代,利用机器学习和深度学习的方法提取大量数据信息中的高层知识进行学习以完成人机交互成为一大研究热点。头部姿态和动作(posture andgesture)作为形体交流(bodily communication)的重要组成部分,对理解用户的态度和意图具有不可替代的重要作用。头部姿态和动作的识别与理解在多模态人机接口和人际交互下的动作和行为理解等方面具有广泛的应用前景。

目前头部动作识别通常采用深度学习实现。头部动作识别实际上是时空序列数据的分类问题。确定动作表示后，可以设计相应的识别算法，对不同动作进行分类。主要的识别方法包括隐马尔可夫模型(HMM)，人工神经网络(NN)。隐马尔可夫模型(HMM)是最常用的时空序列分析模型，可以对各种特征建模来描述动作序列，包括姿态参数，头部运动方向，肤色区域的二阶矩特征等。

在实现本发明的过程中，发明人发现现有技术中至少存在以下技术问题：HMM方法需要预先训练且比较复杂。而且需要正确的分割出头部运动序列作为输入，这在实际应用场景中是相当苛刻的，较难实现。人工神经网络(NN)方法训练耗时耗力，且其速度和精度在移动端设备上很难达到要求。

发明内容

本发明实施例提供了一种头部动作识别方法、装置、设备及存储介质，以实现在保证识别准确率的同时，降低信号采集的要求，提高头部动作识别的通用性。

第一方面，本发明实施例提供了一种头部动作识别方法，包括：

获取视频流，提取视频流各视频帧中的关键点信息；

针对每个视频帧，基于所述关键点信息确定关键点在所述视频流中各视频帧中的构成的至少一个头部姿态角的姿态角信息；

基于各视频帧中所述姿态角信息识别头部动作，得到头部动作识别结果。

第二方面，本发明实施例还提供了一种头部动作识别装置，包括：

关键点提取模块，用于获取视频流，提取视频流各视频帧中的关键点信息；

位置关系确定模块，用于针对每个视频帧，基于视频帧中的关键点信息确定关键点在视频帧中构成的至少一个头部姿态角的姿态角信息；

头部动作确定模块，用于基于各视频帧中所述姿态角信息的差异识别头部动作，得到头部动作识别结果。

第三方面，本发明实施例还提供了一种计算机设备，设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如本发明任意实施例所提供的头部动作识别方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的头部动作识别方法。