[发明专利]行为分类方法、电子设备、计算机存储介质

权利要求书

1.一种行为分类方法，其特征在于，包括：

获取视频流，并按照时序从所述视频流中抽取多帧图像；

获取每帧所述图像中的人群密集区域，且提取所述人群密集区域的第一图像特征；

基于所述人群密集区域获取每帧所述图像中的人群外扩区域，且提取所述人群外扩区域的第二图像特征；

按照所述时序将所述第一图像特征和对应的所述第二图像特征进行融合，以获得时序特征；

基于分类模型对所述时序特征进行处理，以获得行为分类。

2.根据权利要求1所述的行为分类方法，其特征在于，所述获取每帧所述图像中的人群密集区域，且提取所述人群密集区域的第一图像特征包括：

利用回归网络模型对每帧所述图像进行处理，以分别获得每帧所述图像的人群密集区域的第一位置信息及第一尺寸信息；

利用特征提取网络模型对每个所述人群密集区域进行处理，以分别获得每个所述人群密集区域的多个第一图像特征。

3.根据权利要求2所述的行为分类方法，其特征在于，所述获取每帧所述图像中的人群外扩区域，且提取所述人群外扩区域的第二图像特征包括：

利用多帧图像的人群密集区域的第一位置信息及第一尺寸信息获取所述多帧图像的人群密集区域的并集区域；

分别将所述并集区域与每帧所述图像进行匹配，以获得每帧所述图像的人群外扩区域；

利用所述特征提取网络模型对每个所述人群外扩区域进行处理，以分别获取每个所述人群外扩区域的多个第二图像特征。

4.根据权利要求2所述的行为分类方法，其特征在于，进一步包括：

判断每帧所述图像是否都存在对应的所述人群密集区域；

若是，则执行所述采用特征提取网络模型所述人群密集区域进行训练，以获取多个第一图像特征的步骤；

若否，则执行所述获取所述视频流，并按照时序从所述视频流中抽取多帧图像的步骤。

5.根据权利要求2所述的行为分类方法，其特征在于，在所述获取视频流，并按照时序从所述视频流中抽取多帧图像之后，进一步包括：

分别将每帧所述图像按照原始比例缩放其短边至第一预设尺寸；

在缩放后的图像上采集多张第二预设尺寸的图像作为所述回归网络模型的训练样本；

其中，所述第一预设尺寸与所述第二预设尺寸对应。

6.根据权利要求1所述的行为分类方法，其特征在于，所述按照时序从所述视频流中抽取多帧图像包括：

按照时序以预设时长为时间间隔从所述视频流中抽取多帧图像；

其中，所述多帧图像的中的第一帧图像与最后一帧图像之间的时间差小于时间阈值。

7.根据权利要求1所述的行为分类方法，其特征在于，所述分类模型为transformer模型，所述transformer模型包括依次连接的输入层、多个依次连接的编码层、输出层，其中，所述输入层用于输入所述时序特征，所述编码层用于对所述时序特征进行卷积处理，所述输出层用于根据处理后的结果得到所述行为分类，并输出所述行为分类。

8.根据权利要求7所述的行为分类方法，其特征在于，所述编码层包括依次叠层设置的卷积子层、归一化层、子输出层，其中，所述卷积子层用于对所述时序特征进行卷积处理，所述归一化层用于对所述卷积处理后的结果进行归一化处理，所述子输出层用于对归一化处理后的结果做处理，以得到并输出所述编码层的编码结果；其中，所述子输出层包括全连接层和dropout层。

9.一种电子设备，其特征在于，包括存储器和处理器，其中，所述存储器与所述处理器耦接；

其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现权利要求1至8任一项所述的行为分类方法。

10.一种计算机存储介质，其特征在于，其上存储有程序指令，所述程序指令被执行时实现权利要求1至8任一项所述的行为分类方法。