[发明专利]行为识别方法及装置、设备和存储介质

说明书

本申请实施例公开了一种行为识别方法，包括：获取待识别视频序列中每一帧图像中每一对象的检测结果；其中，所述待识别视频序列中包括单个对象和/或群体对象；所述群体对象中包括空间距离小于距离阈值的至少两个对象；根据每一所述对象的检测结果，生成至少一个第一序列和/或至少一个第二序列，其中，所述第一序列和所述第二序列均包括以下之一：同一所述单个对象、所述群体对象；利用已训练的多任务识别网络模型，分别对每一所述第一序列和/或每一所述第二序列进行行为识别，得到每一所述单个对象的行为识别结果和/或所述群体对象的行为识别结果。本申请实施例还同时提供了一种行为的识别装置、设备及存储介质。

技术领域

本申请涉及计算机视觉领域，涉及但不限定于行为识别方法及装置、设备和存储介质。

背景技术

视频中的行为识别是计算机视觉领域的一个重要应用，在实际中存在的问题主要包括：事件的动作执行主体的数目不定(根据事件的动作执行主体的数目通常可以分为单个对象行为和群体对象行为)；不同类型的行为事件识别需要不同的空间感受野(在识别场景下可能存在不同位置和视野的行为主体，而真正需要检测的行为事件发生位置通常只占据画面的一小块区域)；未发生预设行为的行为主体和发生预设行为的行为主体之间可能存在空间位置上的重叠等，以上问题均会对行为识别结果造成干扰。

发明内容

本申请实施例提供一种行为识别方法及装置、设备和存储介质。

本申请实施例的技术方案是这样实现的：

第一方面，本申请实施例提供一种行为识别方法，所述方法包括：

获取待识别视频序列中每一帧图像中每一对象的检测结果；其中，所述待识别视频序列中包括单个对象和/或群体对象；所述群体对象中包括空间距离小于距离阈值的至少两个对象；根据每一所述对象的检测结果，生成至少一个第一序列和/或至少一个第二序列，其中，所述第一序列和所述第二序列均包括以下之一：同一所述单个对象、所述群体对象；利用已训练的多任务识别网络模型，分别对每一所述第一序列和/或每一所述第二序列进行行为识别，得到每一所述单个对象的行为识别结果和/或所述群体对象的行为识别结果。

在一些可能的实施方式中，所述对象的检测结果至少包括所述对象的检测框和与所述检测框关联的对象标识；所述根据每一所述对象的检测结果，生成至少一个第一序列，包括：根据每一所述对象的检测框在所在对应帧图像中的分布情况，确定所述每一帧图像中的稀疏检测框；其中，所述稀疏检测框与所述每一帧图像中除所述稀疏检测框之外的其他检测框之间的重叠次数小于第一次数阈值；根据所述每一帧图像中的稀疏检测框和与所述稀疏检测框关联的对象标识，生成所述至少一个第一序列。

这样，首先利用帧图像中检测框的分布情况确定出稀疏区域的检测框即稀疏检测框，然后按照对象标识对每一帧图像中的稀疏检测框进行预处理得到至少一个第一序列。从而解决视频序列中单个对象行为的识别问题，能够减小行为识别模型的识别难度，减少模型计算量。

在一些可能的实施方式中，所述根据每一所述对象的检测结果，生成至少一个第二序列，包括：根据每一所述对象的检测框在所在对应帧图像中的分布情况，确定所述每一帧图像中的密集检测框；其中，所述密集检测框与所述每一帧图像中除所述密集检测框之外的其他检测框之间的重叠次数大于等于第二次数阈值，所述第二次数阈值大于所述第一次数阈值；根据所述每一帧图像中的密集检测框和与所述密集检测框关联的对象标识，生成所述至少一个第二序列。

这样，首先利用帧图像中检测框的分布情况确定出密集区域的检测框即密集检测框，然后对每一帧图像中的密集检测框进行预处理得到至少一个第二序列，从而解决群体对象行为的识别问题。结合稀疏检测框的预处理过程，可以自适应调整不同类型即不同动作执行主体的行为的感受野，能够解决对全视野的待识别视频序列进行识别时有效感知范围小的问题。