[发明专利]一种多目标追踪的行为识别方法和装置

权利要求书

1.一种多目标追踪的行为识别方法，其特征在于，包括：

获取多帧视频流，以进行目标检测，确定具有编号的对象的目标检测框；其中，对象编号与目标检测框具有映射关系；

基于目标检测框对所述对象进行追踪，以识别视频流中所述对象连续帧的行为信息，进而通过预设的预测模型得到所述对象的未来行为信息。

2.根据权利要求1所述的装置，其特征在于，获取多帧视频流，以进行目标检测，包括：

获取多帧视频流，在基于darknet53的yolov3网络中使用三个尺度进行特征融合，在融合后的特征图上进行目标检测。

3.根据权利要求1所述的方法，其特征在于，识别视频流中所述对象连续帧的行为信息，包括：

获取当前帧中对象编号和目标检测框，判断在预设的连续帧数内，是否存在绑定的对象编号与对应的目标检测框，若存在则截取连续帧中出现的每个目标检测框中的图片以识别连续帧的行为信息；若不存在则删除该对象编号与对应的目标检测框。

4.根据权利要求1-3中任一所述的方法，其特征在于，通过预设的预测模型得到所述对象的未来行为信息之前，包括：

基于3D卷积网络，在时间上和空间上分别增加注意力，得到预测模型。

5.一种多目标追踪的行为识别装置，其特征在于，包括：

获取模块，用于获取多帧视频流，以进行目标检测，确定具有编号的对象的目标检测框；其中，对象编号与目标检测框具有映射关系；

处理模块，用于基于目标检测框对所述对象进行追踪，以识别视频流中所述对象连续帧的行为信息，进而通过预设的预测模型得到所述对象的未来行为信息。

6.根据权利要求5所述的装置，其特征在于，所述获取模块获取多帧视频流，以进行目标检测，包括：

获取多帧视频流，在基于darknet53的yolov3网络中使用三个尺度进行特征融合，在融合后的特征图上进行目标检测。

7.根据权利要求5所述的装置，其特征在于，所述处理模块识别视频流中所述对象连续帧的行为信息，包括：

获取当前帧中对象编号和目标检测框，判断在预设的连续帧数内，是否存在绑定的对象编号与对应的目标检测框，若存在则截取连续帧中出现的每个目标检测框中的图片以识别连续帧的行为信息；若不存在则删除该对象编号与对应的目标检测框。

8.根据权利要求5-7中任一所述的装置，其特征在于，所述处理模块通过预设的预测模型得到所述对象的未来行为信息之前，包括：

基于3D卷积网络，在时间上和空间上分别增加注意力，得到预测模型。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-4中任一所述的方法。

10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-4中任一所述的方法。