[发明专利]行为识别方法、装置、存储介质及电子装置

权利要求书

1.一种行为识别方法，其特征在于，包括：

对包含待处理对象的图像序列进行特征提取，获得所述图像序列的图像序列特征，其中，所述图像序列特征用于表征所述待处理对象在所述图像序列中的运动信息；

对所述图像序列中的目标图像进行特征提取，得到所述目标图像的目标图像特征，其中，所述目标图像为从所述图像序列中选取的图像，所述目标图像特征用于表征所述待处理对象在所述目标图像中的位置信息；

基于所述图像序列特征和所述目标图像特征，确定待处理特征；

基于所述待处理特征，对所述待处理对象在所述图像序列中的行为进行识别。

2.根据权利要求1所述的方法，其特征在于，对包含待处理对象的图像序列进行特征提取，获得所述图像序列的图像序列特征之前，所述方法还包括：

获取包含所述待处理对象的监控视频；

对所述监控视频进行抽帧处理，获得所述图像序列。

3.根据权利要求1所述的方法，其特征在于，所述目标图像包括至少两个；

所述基于所述图像序列特征和所述目标图像特征，确定待处理特征，包括：

基于所述至少两个目标图像中包括的各个目标图像的目标图像特征，确定参考图像特征；

基于所述图像序列特征和所述参考图像特征，确定待处理特征。

4.根据权利要求3所述的方法，其特征在于，基于所述至少两个目标图像中包括的各个目标图像的目标图像特征，确定参考图像特征包括：

获取各个所述目标图像的所述目标图像特征的平均值，以得到所述参考图像特征。

5.根据权利要求1所述的方法，其特征在于，基于所述图像序列特征和所述目标图像特征，确定待处理特征包括：

对所述图像序列特征和所述目标图像特征进行拼接及融合处理，以生成第一特征；

对所述第一特征进行叠加处理，以生成所述待处理特征。

6.根据权利要求5所述的方法，其特征在于，对所述图像序列特征和所述目标图像特征进行拼接及融合处理，以生成第一特征包括：

对所述图像序列特征中包括的用于标识所述图像序列的帧数的第一参数设置为1，以得到图像序列调整特征；

将所述图像序列调整特征与所述目标图像特征在目标通道维度上进行拼接，以得到拼接特征；

对所述拼接特征进行特征融合处理，以生成所述第一特征。

7.根据权利要求5所述的方法，其特征在于，对所述第一特征进行叠加处理，以生成所述待处理特征包括：

对所述第一特征的维度进行调整，以得到第二特征；

在每一个通道上对所述第二特征做内积，以得到目标类型特征；

利用softmax对所述目标类型特征进行处理，以得到注意力机制图；

将所述注意力机制图与所述第二特征进行矩阵乘法处理，以得到第三特征；

对所述第三特征的维度进行调整，以得到维度与所述第一特征相同的第四特征；

将所述第四特征与所述第一特征进行叠加处理，以生成所述待处理特征。

8.根据权利要求1所述的方法，其特征在于，基于所述待处理特征，对所述待处理对象在所述图像序列中的行为进行识别包括：

对所述待处理特征进行回归处理，以确定出所述待处理对象的坐标框信息以及分类得分；

基于所述坐标框信息和所述分类得分确定所述待处理对象的行为。

9.根据权利要求8所述的方法，其特征在于，对所述待处理特征进行回归处理，以确定出所述待处理对象的坐标框信息以及分类得分包括：

将所述待处理特征输入卷积层，以利用所述卷积层回归出所述待处理对象的坐标框信息以及分类得分。