[发明专利]行为识别方法及装置、计算机可读介质和电子设备

权利要求书

1.一种行为识别方法，其特征在于，应用于包括第一设备和第二设备的行为识别系统，包括：

通过所述第一设备采集用户的第一运动数据和/或第一多模态数据，并通过所述第二设备采集所述用户的第二运动数据和第二多模态数据；

其中，所述第一多模态数据和所述第二多模态数据包括除运动模态外，用户的其他模态数据；

基于所述第一运动数据和/或所述第一多模态数据，以及所述第二运动数据和所述第二多模态数据进行行为识别，得到所述用户的行为类型。

2.根据权利要求1所述的方法，其特征在于，所述基于所述第一运动数据和/或所述第一多模态数据，以及所述第二运动数据和所述第二多模态数据进行行为识别，得到所述用户的行为类型，包括：

将所述第一运动数据和/或所述第一多模态数据，以及所述第二运动数据和所述第二多模态数据输入行为识别模型中进行行为识别，得到所述用户的行为类型。

3.根据权利要求2所述的方法，其特征在于，所述将所述第一运动数据和/或所述第一多模态数据，以及所述第二运动数据和所述第二多模态数据输入行为识别模型中进行行为识别，得到所述用户的行为类型，包括：

对所述第一运动数据和/或所述第一多模态数据，以及所述第二运动数据和所述第二多模态数据进行数据融合，得到融合数据；

对所述融合数据进行行为识别，得到所述用户的行为类型。

4.根据权利要求1所述的方法，其特征在于，在所述第一设备采集第一运动数据，或者在所述第一设备采集第一运动数据和第一多模态数据时，所述方法还包括：

基于所述第一运动数据和所述第二运动数据进行动作识别，得到所述用户的动作类型。

5.根据权利要求4所述的方法，其特征在于，所述基于所述第一运动数据和所述第二运动数据进行动作识别，得到所述用户的动作类型，包括：

将所述第一运动数据和所述第二运动数据输入第一动作识别模型中进行动作识别，得到所述用户的动作类型。

6.根据权利要求5所述的方法，其特征在于，所述第一动作识别模型包括第一深度学习混合卷积神经网络-长短期记忆神经网络-动作分类器模型；

所述将所述第一运动数据和所述第二运动数据输入动作识别模型中进行动作识别，得到所述用户的动作类型，包括：

基于第一卷积神经网络分别对所述第一运动数据和所述第二运动数据进行特征提取，以获得第一空间特征和第二空间特征；

基于第一长短期记忆神经网络分别对所述第一空间特征和第二空间特征进行特征提取，以获得第一时序特征和第二时序特征；

对所述第一时序特征和所述第二时序特征进行特征融合，得到融合特征；

基于第一动作分类器对所述融合数据进行动作分类，得到所述用户的动作类型。

7.根据权利要求1所述的方法，其特征在于，在所述第一设备采集第一多模态数据时，所述方法还包括：

基于所述第二运动数据进行动作识别，得到所述用户的动作类型。

8.根据权利要求7所述的方法，其特征在于，所述基于所述第二运动数据进行动作识别，得到所述用户的动作类型，包括：

将所述第二运动数据输入第二动作识别模型中进行动作识别，得到所述用户的动作类型。

9.根据权利要求8所述的方法，其特征在于，所述第二动作识别模型包括第二深度学习混合卷积神经网络-长短期记忆神经网络-动作分类器模型；

所述将所述第二运动数据输入动作识别模型中进行动作识别，得到所述用户的动作类型，包括：

基于第二卷积神经网络对所述第二运动数据进行特征提取，以获得第三空间特征；

基于第二长短期记忆神经网络对所述第三空间特征进行特征提取，以获得第三时序特征；

基于第二动作分类器对所述第三时序特征进行动作分类，得到所述用户的动作类型。