[发明专利]一种多目标追踪的行为识别方法和装置

说明书

本发明公开了多目标追踪的行为识别方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括获取多帧视频流，以进行目标检测，确定具有编号的对象的目标检测框；其中，对象编号与目标检测框具有映射关系；基于目标检测框对所述对象进行追踪，以识别视频流中所述对象连续帧的行为信息，进而通过预设的预测模型得到所述对象的未来行为信息。从而，本发明的实施方式能够解决现有的行为识别技术成本高，精准度低的问题。

技术领域

本发明涉及计算机技术领域，尤其涉及一种多目标追踪的行为识别方法和装置。

背景技术

目前的行为识别技术，一般包括基于传统传感器的行为识别：人物佩带传感器(重力传感器)，根据加速度及方向的变化识别出行为。基于光流算法等传统算法的单帧行为识别：多帧图片先提取出光流特征，即每帧中的光向量的运动方向，然后再放入神经网络中预测行为。基于深度学习单帧的行为识别：通过采集摄像头中每一帧的图片，对其每帧进行目标检测算法，即找出图片中物体及人的真实边框和类别标签。基于深度学习视频单目标的行为识别：对视频帧中的整个图片序列进行时序提取，其中每帧大约全部区域都占据了行动者，对其进行行为分类。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

现有行为识别技术中传感器主要存在的问题：成本高且佩戴麻烦，被检测者需长时间随身佩戴传感器，带来了生活中的不便利，且需要定期更换电池。而传统光流等算法计算量大，预处理慢，很难达到实时。基于深度学习单帧的行为识别，时序性的连续行为识别误差很大。另外，基于深度学习视频单目标的行为识别不能同时监控视频中的多个人，当前算法都是基于人占据整张图片的区域进行识别，人如果在小目标区域，以整张图片作为信息就会增加了很多冗余因素，准确率很低，效果很差。

发明内容

有鉴于此，本发明实施例提供一种多目标追踪的行为识别方法和装置，能够解决现有的行为识别技术成本高，精准度低的问题。

为实现上述目的，根据本发明实施例的一个方面，提供了一种多目标追踪的行为识别方法，包括获取多帧视频流，以进行目标检测，确定具有编号的对象的目标检测框；其中，对象编号与目标检测框具有映射关系；基于目标检测框对所述对象进行追踪，以识别视频流中所述对象连续帧的行为信息，进而通过预设的预测模型得到所述对象的未来行为信息。

可选地，获取多帧视频流，以进行目标检测，包括：

获取多帧视频流，在基于darknet53的yolov3网络中使用三个尺度进行特征融合，在融合后的特征图上进行目标检测。

可选地，识别视频流中所述对象连续帧的行为信息，包括：

获取当前帧中对象编号和目标检测框，判断在预设的连续帧数内，是否存在绑定的对象编号与对应的目标检测框，若存在则截取连续帧中出现的每个目标检测框中的图片以识别连续帧的行为信息；若不存在则删除该对象编号与对应的目标检测框。

可选地，通过预设的预测模型得到所述对象的未来行为信息之前，包括：

基于3D卷积网络，在时间上和空间上分别增加注意力，得到预测模型。

另外，本发明还提供了一种多目标追踪的行为识别装置，包括获取模块，用于获取多帧视频流，以进行目标检测，确定具有编号的对象的目标检测框；其中，对象编号与目标检测框具有映射关系；处理模块，用于基于目标检测框对所述对象进行追踪，以识别视频流中所述对象连续帧的行为信息，进而通过预设的预测模型得到所述对象的未来行为信息。

可选地，所述获取模块获取多帧视频流，以进行目标检测，包括：

获取多帧视频流，在基于darknet53的yolov3网络中使用三个尺度进行特征融合，在融合后的特征图上进行目标检测。

可选地，所述处理模块识别视频流中所述对象连续帧的行为信息，包括：