[发明专利]音视频雷达融合的异常事件监控方法、装置、设备及介质

说明书

本发明提供了一种音视频雷达融合的异常事件监控方法、装置、设备及介质，包括：获取当前场景的多元数据集合；其中，多元数据集合包括音频数据、视频数据和点云数据；通过预先训练的异常事件检测网络，根据视频数据的目标视频特征信息和点云数据的目标点云特征信息确定第一融合特征，根据音频数据的音频特征信息和第一融合特征确定第二融合特征，并基于第二融合特征确定当前场景的异常事件检测结果。本发明可以对不同场景下的多种类型异常事件进行检测，减少因环境因素对异常事件检测的影响，提高异常事件检测的准确性。

技术领域

本发明涉及AI（Artificial Intelligence，人工智能）技术领域，尤其是涉及一种音视频雷达融合的异常事件监控方法、装置、设备及介质。

背景技术

目前，现有的视频监控设备在雨雪、大雾等能见度较低的情况下通常很难对环境中的异常事件进行检测。此外，现有的音视频检测异常事件的技术通常只能应用于特定的场景下，由于不同场景下的异常事件的定义可能会不同，因此对于不同场景下的异常事件没有很好的通用性。例如游乐场中的尖叫声通常不能定义为异常事件，但是车站等场景下的尖叫声一般会认为是异常事件。综上所述，现有的监控技术难以准确地对复杂环境的异常事件进行检测，而且针对不同监控场景的通用性较差。

发明内容

有鉴于此，本发明的目的在于提供一种音视频雷达融合的异常事件监控方法、装置、设备及介质，可以对不同场景下的多种类型异常事件进行检测，减少因环境因素对异常事件检测的影响，提高异常事件检测的准确性。

第一方面，本发明实施例提供了一种音视频雷达融合的异常事件监控方法，包括：

获取当前场景的多元数据集合；其中，所述多元数据集合包括音频数据、视频数据和点云数据；

通过预先训练的异常事件检测网络，根据所述视频数据的目标视频特征信息和所述点云数据的目标点云特征信息确定第一融合特征，根据所述音频数据的音频特征信息和所述第一融合特征确定第二融合特征，并基于所述第二融合特征确定所述当前场景的异常事件检测结果。

在一种实施方式中，所述异常事件检测网络包括雷视融合子网络，所述雷视融合子网络包括雷视特征提取模块和雷视特征融合模块；

根据所述视频数据的目标视频特征信息和所述点云数据的目标点云特征信息确定第一融合特征，包括：

通过所述雷视特征提取模块，提取所述视频数据对应的多个层级的目标视频特征信息，以及提取所述点云数据对应的多个层级的目标点云特征信息；

通过所述雷视特征融合模块，对每个层级的所述目标视频特征信息和每个层级的所述目标点云特征信息进行同层级特征融合和不同层级特征融合，得到第一融合特征。

在一种实施方式中，所述雷视特征提取模块包括图像特征提取单元和点云特征提取单元，所述图像特征提取单元和所述点云特征提取单元均包括多个层级的第一特征提取子单元和多个层级的第二特征提取子单元，当前层级的第一特征提取子单元的输入端与前一层级的第一特征提取子单元的输出端连接，所述当前层级的第一特征提取子单元的输出端与后一层级的第一特征提取子单元的输入端和当前层级的第二特征提取子单元的输入端连接；

提取所述视频数据对应的多个层级的目标视频特征信息，包括：

通过所述当前层级的所述第一特征提取子单元，对所述前一层级的视频特征向量进行特征提取，得到所述当前层级的视频特征向量；

通过所述当前层级的所述第二特征提取子单元，对所述当前层级的视频特征向量进行特征提取，得到所述当前层级的目标视频特征信息。

在一种实施方式中，所述第一特征提取子单元包括并行的卷积层和空洞卷积，所述第二特征提取子单元包括特征金字塔层。

在一种实施方式中，所述雷视特征融合模块包括第一特征融合单元和第二特征融合单元；

对每个层级的所述目标视频特征信息和每个层级的所述目标点云特征信息进行同层级特征融合和不同层级特征融合，得到第一融合特征，包括：