[发明专利]行为识别方法及装置、设备和存储介质

说明书

本申请实施例公开了一种行为识别方法，包括：获取待识别视频序列中每一帧图像中每一对象的检测结果；根据每一所述对象的检测结果，生成至少一个第一序列；其中，每一所述第一序列为包括同一对象的轨迹序列；对每一所述第一序列进行行为识别，得到每一所述对象的行为识别结果。本申请实施例还同时提供了一种行为识别装置、设备及存储介质。

技术领域

本申请涉及计算机视觉领域，涉及但不限定于行为识别方法及装置、设备和存储介质。

背景技术

相关技术中的行为识别方法首先对输入的视频序列进行全图的数据增强或其他预处理，然后直接送入到分类模型中进行预测。也就是说，输入整个视频序列到网络模型，让网络模型去感知行为发生的执行主体的发生位置。这种方式依赖于执行主体占比画面很大的前提假设，只适用于以执行主体为中心的视频行为识别，该类数据常见于公开的视频学术数据集中。

然而在大规模视频数据下，行为发生的执行主体的数量不可预知，且视频中的每一帧图像往往包含更多的信息，覆盖的视野也更大，造成识别效果较低、计算量大。

发明内容

本申请实施例提供一种行为识别方法及装置、设备和存储介质。

本申请实施例的技术方案是这样实现的：

第一方面，本申请实施例提供一种行为识别方法，所述方法包括：获取待识别视频序列中每一帧图像中每一对象的检测结果；根据每一所述对象的检测结果，生成至少一个第一序列；其中，每一所述第一序列为包括同一对象的轨迹序列；对每一所述第一序列进行行为识别，得到每一所述对象的行为识别结果。

这样，首先获取每一帧图像中每一对象的检测结果，以确定单个对象在待识别视频序列中准确的轨迹序列即第一序列，然后对至少一个第一序列进行行为识别。通过利用视频分类算法与检测算法的结合，将单帧行为识别算法拓展为一个具有时序关系的行为识别算法。将视频分类问题转换成轨迹序列的识别问题，能够减小模型的识别难度，并提升有效信息的获取。同时拓展了视频理解模型的边界，发挥了视频理解模型的潜力，也是对现有视频理解模型落地应用的体现。

在一些可能的实施方式中，所述待识别视频序列是通过以下过程得到的：按照特定时间间隔，从视频源中选取至少两帧图像；将所述至少两帧图像存入帧序列缓冲区；其中，所述帧序列缓冲区的长度固定；获取所述帧序列缓冲区中的帧图像作为所述待识别视频序列。

这样，通过间隔特定时间间隔采样视频源中的多帧图像，构造滑窗式帧序列缓冲区，一方面是能高效处理离线长视频和在线视频流，并行处理每个窗口内的视频帧序列；另一方面，以固定大小的窗口作为基本处理单元可以保证采样的合理性，捕捉动作执行的全局过程。

在一些可能的实施方式中，所述对象的检测结果至少包括所述对象的检测框和与所述检测框关联的对象标识；所述根据每一所述对象的检测结果，生成至少一个第一序列，包括：从每一所述对象的检测框中，选择在空间位置上独立的检测框作为候选检测框；根据所述候选检测框和与所述候选检测框关联的对象标识，生成所述至少一个第一序列。

这样，从每一帧图像包含的所有对象的检测框中，筛选出每一单个对象的候选检测框，再根据候选检测框生成至少一个第一序列。从而只对容易发生行为的独立单个对象进行识别，能够减小行为识别模型的识别难度，减少模型计算量。

在一些可能的实施方式中，所述每一帧图像中包括一个检测框，所述从每一所述对象的检测框中，选择在空间位置上独立的检测框作为候选检测框，包括：将所述每一帧图像中的一个检测框作为所述候选检测框。

这样，对于每一帧图像中包括一个检测框即该待识别视频序列中只有一个对象的情况，直接将该对象的检测框作为候选检测框，以方便后续生成轨迹序列，能够简化操作，有效提取有用信息。