[发明专利]一种基于人体运动步态和姿态的情绪识别方法及系统

权利要求书

1.一种基于人体运动步态和姿态的情绪识别方法，其特征在于，包括：

步骤S1：对人体步态序列数据集进行预处理，构建样本集；

步骤S2：对所述样本集中步态数据进行预处理，得到根关节的位置和绝对速度以及其他20个关节的相对于所述根关节的相对位置和相对速度；

步骤S3：根据预定义的12个姿态特征，选取5个最能区分不同情绪的姿态特征；

步骤S4：构建人体运动步态和姿态的情绪识别模型，包含：步态情绪提取模块、姿态情绪提取模块以及分类器；其中，将关节的所述相对位置和所述相对速度输入步态情绪提取模块，输出步态时空特征；将所述姿态特征输入姿态情绪提取模块，输出姿态时空特征；将所述步态时空特征和所述姿态时空特征输入所述分类器，输出各种情绪的概率。

2.根据权利要求1所述的基于人体运动步态和姿态的情绪识别方法，其特征在于，所述步骤S1：对人体步态序列数据集进行预处理，构建样本集，具体包括：

步骤S11：获取人体步态序列数据集，其中，每个步态序列有48个时刻的关节位置和所述每个步态序列的情绪标签；删除其中包含有三种及以上情绪标签的步态序列；

步骤S12：采用三次样条插值的方法对数据量不足的情绪类型的步态序列进行增强，使得每个情绪类型的样本量相等，得到最终的样本集。

3.根据权利要求2所述的基于人体运动步态和姿态的情绪识别方法，其特征在于，所述步骤S2：对所述样本集中步态数据进行预处理，得到根关节的位置和绝对速度以及其他20个关节的相对于所述根关节的相对位置和相对速度，具体包括：

步骤S21：定义人体21个关节，将所述样本集中关节在相机坐标系中的位置坐标D_t转换为相对于根关节的相对位置坐标如公式(1)所示：

其中，D_t(i)为关节i在相机坐标系中的位置；D_t(0)为根关节在相机坐标系中的位置，为关节i在相机坐标系中相对于根关节的相对位置；

步骤S22：通过关节位置在相邻时刻的微分，计算根关节的绝对速度V_t和其他20个关节相对根关节的相对速度如公式(2)～(3)所示：

其中，t为时刻。

4.根据权利要求1所述的基于人体运动步态和姿态的情绪识别方法，其特征在于，所述步骤S3：根据预定义的12个姿态特征，选取5个最能区分不同情绪的姿态特征，具体包括：

定义12个可能反映情绪的姿态特征，统计姿态特征在不同情绪下的频率分布的直方图，根据所述直方图分布选取5个最能区分不同情绪的姿态特征。

5.根据权利要求4所述的基于人体运动步态和姿态的情绪识别方法，其特征在于，所述步骤S4中步态情绪提取模块，具体包括：

步骤S411：将21个关节的所述相对位置和所述相对速度输入步态情绪提取模块，利用关节卷积层提取每个关节的相对位置空间特征和相对速度空间特征；

步骤S412：将所述相对位置空间特征和所述相对速度空间特征按照5个运动链分组，分别输入5个对应的运动链注意力层，提取5个运动链空间特征，其中，5个运动链包括；躯干、左臂、右臂、左腿和右腿；将5个所述运动链空间特征分别经过5个LSTM提取其时间特征，得到5个运动链的时空特征；

步骤S413：将5个所述运动链的时空特征输入到融合运动链注意力层进行融合，再经过5个连续的CNN，输出整个人体的步态时空特征。

6.根据权利要求4所述的基于人体运动步态和姿态的情绪识别方法，其特征在于，所述步骤S4中姿态情绪提取模块，具体包括：

步骤S421：将5个所述姿态特征输入姿态情绪提取模块，利用LSTM提取其时间特征，得到姿态时间特征；

步骤S422：将所述姿态时间特征经过卷积层提取其空间特征，得到姿态时空特征。