[发明专利]音视频雷达融合的异常事件监控方法、装置、设备及介质

权利要求书

1.一种音视频雷达融合的异常事件监控方法，其特征在于，包括：

获取当前场景的多元数据集合；其中，所述多元数据集合包括音频数据、视频数据和点云数据；

通过预先训练的异常事件检测网络，根据所述视频数据的目标视频特征信息和所述点云数据的目标点云特征信息确定第一融合特征，根据所述音频数据的音频特征信息和所述第一融合特征确定第二融合特征，并基于所述第二融合特征确定所述当前场景的异常事件检测结果。

2.根据权利要求1所述的音视频雷达融合的异常事件监控方法，其特征在于，所述异常事件检测网络包括雷视融合子网络，所述雷视融合子网络包括雷视特征提取模块和雷视特征融合模块；

根据所述视频数据的目标视频特征信息和所述点云数据的目标点云特征信息确定第一融合特征，包括：

通过所述雷视特征提取模块，提取所述视频数据对应的多个层级的目标视频特征信息，以及提取所述点云数据对应的多个层级的目标点云特征信息；

通过所述雷视特征融合模块，对每个层级的所述目标视频特征信息和每个层级的所述目标点云特征信息进行同层级特征融合和不同层级特征融合，得到第一融合特征。

3.根据权利要求2所述的音视频雷达融合的异常事件监控方法，其特征在于，所述雷视特征提取模块包括图像特征提取单元和点云特征提取单元，所述图像特征提取单元和所述点云特征提取单元均包括多个层级的第一特征提取子单元和多个层级的第二特征提取子单元，当前层级的第一特征提取子单元的输入端与前一层级的第一特征提取子单元的输出端连接，所述当前层级的第一特征提取子单元的输出端与后一层级的第一特征提取子单元的输入端和当前层级的第二特征提取子单元的输入端连接；

提取所述视频数据对应的多个层级的目标视频特征信息，包括：

通过所述当前层级的所述第一特征提取子单元，对所述前一层级的视频特征向量进行特征提取，得到所述当前层级的视频特征向量；

通过所述当前层级的所述第二特征提取子单元，对所述当前层级的视频特征向量进行特征提取，得到所述当前层级的目标视频特征信息。

4.根据权利要求3所述的音视频雷达融合的异常事件监控方法，其特征在于，所述第一特征提取子单元包括并行的卷积层和空洞卷积，所述第二特征提取子单元包括特征金字塔层。

5.根据权利要求2所述的音视频雷达融合的异常事件监控方法，其特征在于，所述雷视特征融合模块包括第一特征融合单元和第二特征融合单元；

对每个层级的所述目标视频特征信息和每个层级的所述目标点云特征信息进行同层级特征融合和不同层级特征融合，得到第一融合特征，包括：

通过所述第一特征融合单元，分别对每个层级的所述目标视频特征信息和每个层级的所述目标点云特征信息进行同层级特征融合，得到中间融合特征；

通过所述第二特征融合单元，对所述中间融合特征进行第一卷积操作得到第一卷积操作结果，对所述第一卷积操作结果执行至少两次第二卷积操作得到第二卷积操作结果，将所述第一卷积操作结果和所述第二卷积操作结果进行融合，以实现不同层级特征融合，得到第一融合特征。

6.根据权利要求5所述的音视频雷达融合的异常事件监控方法，其特征在于，所述第一特征融合单元包括多个层级的特征融合子单元，当前层级的所述特征融合子单元的输入端与后一层级的所述特征融合子单元的输出端、所述当前层级的第一特征提取子单元的输出端和所述当前层级的第二特征提取子单元的输出端连接；

分别对每个层级的所述目标视频特征信息和每个层级的所述目标点云特征信息进行同层级特征融合，得到中间融合特征，包括：

通过所述当前层级的所述特征融合子单元，基于后一层级的所述特征融合子单元的输出数据、所述当前层级的目标视频特征信息和所述当前层级的目标点云特征信息进行融合，以实现同层级特征融合，得到中间融合特征。