[发明专利]一种行为识别方法及装置

权利要求书

1.一种行为识别方法，其特征在于，所述方法包括：

获取包含有目标对象的多个目标视频帧；

针对每一所述目标视频帧，将该目标视频帧输入至预先训练的二维坐标提取网络模型，得到该目标视频帧中各对象的二维图像信息；其中，一个对象的二维图像信息包含该对象的各个关键点在该目标视频帧中的二维坐标，以及该对象的各个关键点之间的连接关系；

基于该目标视频帧的深度信息和该目标视频帧中各对象的二维图像信息，以及预先训练的三维坐标提取网络模型，确定该目标视频帧中各对象的三维图像信息；其中，一个对象的三维图像信息包含该对象的各个关键点在该目标视频帧中的三维坐标；所述深度信息表示该目标视频帧中各对象之间的位置关系；

基于所述多个目标视频帧中各对象的三维图像信息，以及预先训练的行为预测网络模型，确定所述多个目标视频帧中所述目标对象的驾驶行为。

2.根据权利要求1所述的方法，其特征在于，所述获取包含有目标对象的多个目标视频帧，包括：

基于预先训练的视频提取网络模型中的双流网络，对待处理视频进行采样，并对采样得到的采样视频帧进行特征提取，得到每一采样视频帧的特征向量；

针对每一采样视频帧，将该采样视频帧的特征向量输入至所述视频提取网络模型中的第一卷积网络，得到该采样视频帧中所述目标对象的动作属于动作开始的第一概率，以及该采样视频帧中所述目标对象的动作属于动作结束的第二概率；

从各个采样视频帧中确定第一采样视频帧；

其中，所述第一采样视频帧的第一概率大于预设概率阈值；或者，

所述第一采样视频帧的第一概率，大于所述第一采样视频帧的前一采样视频帧的第一概率，且所述第一采样视频帧的第一概率，大于所述第一采样视频帧的后一采样视频帧的第一概率；

从各个采样视频帧中确定第二采样视频帧；

其中，所述第二采样视频帧的第二概率大于所述预设概率阈值；或者，

所述第二采样视频帧的第二概率，大于所述第二采样视频帧的前一采样视频帧的第二概率，且所述第二采样视频帧的第二概率，大于所述第二采样视频帧的后一采样视频帧的第二概率；

针对每一所述第一采样视频帧，确定位于该第一采样视频帧之后的第二采样视频帧，作为该第一采样视频帧对应的第三采样视频帧；

计算该第一采样视频帧与对应的每一所述第三采样视频帧之间时长，作为待处理时长；

从该第一采样视频帧对应的第三采样视频帧中，确定所对应的待处理时长属于预设时长范围的第三采样视频帧，作为该第一采样视频帧对应的第四采样视频帧；

确定该第一采样视频帧对应的备选视频，其中，该第一采样视频帧对应的一个备选视频包括：该第一采样视频帧、该第一采样视频帧对应的一个第四采样视频帧，以及该第一采样视频帧与该第四采样视频帧之间的视频帧；

针对每一所述备选视频，对该备选视频进行特征提取，得到该备选视频的特征向量；

将该备选视频的特征向量，输入至所述视频提取网络模型的多层感知器，得到该备选视频的置信度；

确定各所述备选视频中置信度最大的备选视频包含的视频帧，作为目标视频帧。

3.根据权利要求1所述的方法，其特征在于，所述二维坐标提取网络模型包括：第一卷积层、第二卷积网络和第三卷积网络；

所述针对每一所述目标视频帧，将该目标视频帧输入至预先训练的二维坐标提取网络模型，得到该目标视频帧中各对象的二维图像信息，包括：

针对每一所述目标视频帧，通过所述第一卷积层对该目标视频帧进行特征提取，得到该目标视频帧的特征图；

将该目标视频帧的特征图输入至所述第二卷积网络，得到该目标视频帧对应的多个热图；其中，每一所述热图中包含该目标视频帧中各对象的一个关键点的二维坐标；

将该目标视频帧的特征图输入至所述第三卷积网络，得到该目标视频帧对应的亲和场，其中，所述亲和场表示该目标视频帧中各对象各自的关键点之间的连接关系。