[发明专利]基于重构和预测的异常检测方法

说明书

本发明涉及视频及图像处理技术领域，具体涉及基于重构和预测的异常检测方法，包括：获取待检测的测试视频序列；将所述测试视频序列输入经过预先训练的异常检测模型中；所述异常检测模型首先分别提取测试视频序列的空间外观特征和时间运动特征，然后对所述空间外观特征和所述时间运动特征进行融合得到对应的时空特征，再基于所述时空特征获取对应的重构帧，最后根据所述重构帧计算对应的异常分数；将所述测试视频序列的异常分数作为其异常检测结果。本发明的异常检测方法能够兼顾异常检测性能和准确性，从而能够提升异常检测的效果和效率。

技术领域

本发明涉及视频与图像处理技术领域，具体涉及基于重构和预测的异常检测方法。

背景技术

视频异常检测是计算机视觉中的一项重要研究任务，它有许多方面的应用，如交通事故检测、暴力检测和异常人群行为检测。由于异常的不确定性和多样性，尽管已经研究了数年，从正常事件中准确识别异常事件仍然是一项具有挑战性的任务。同时，在现实世界中，很难列举所有的异常事件来学习各种异常模式。因此，很多研究都是基于一类分类方法来检测异常，而不是基于监督思想的二元分类。基于一类分类的异常检测是从正常数据中学习正常模式的分布，并计算测试样本服从该分布的概率来反映异常。

针对现有异常检测方法对噪声和时间间隔敏感的问题，公开号为CN111680614A的中国专利公开了《一种基于视频监控中的异常行为检测方法》，其将视频帧图像中的目标对象提取特征后，先对特征进行聚类，再输入到SVM分类器中，取得分最高的作为该目标对象的异常得分，最后取该视频帧图像中所有目标对象的异常得分中的最高值作为该帧图像的异常得分，利用SVM分类器可以快速准确的分类，并且满足实时性要求。

上述现有方案中的异常(行为)检测方法利用目标检测技术将每一个视频帧中的前景目标检测出来，并输入到卷积自编码器网络框架中进行重构，通过重构误差进行分类来判断异常。然而，现有异常检测方法中，帧中的所有像素被同等地处理，模型会失去焦点，而不会优先学习和重构训练时难以重构的复杂区域，使得模型无法有效获得高质量前景的重构图像(因为简单的背景像素将控制模型的优化)，进而会降低异常检测的性能，因为在异常检测中前景比静止背景更重要。同时，现有的重构方法试图最小化重构框架与其真实标签之间的差异，虽然在像素空间甚至潜在空间中保证了相似性，但它是一对一的约束，忽略了同一场景中不同正常帧的相似性，导致异常检测的准确性不高。因此，如何设计一种能够兼顾异常检测性能和准确性的异常检测方法是亟需解决的技术问题。

发明内容

针对上述现有技术的不足，本发明所要解决的技术问题是：如何提供一种能够兼顾异常检测性能和准确性的异常检测方法，从而能够提升异常检测的效果和效率。

为了解决上述技术问题，本发明采用了如下的技术方案：

基于重构和预测的异常检测方法，包括以下步骤：

S1：获取待检测的测试视频序列；

S2：将所述测试视频序列输入经过预先训练的异常检测模型中；所述异常检测模型首先分别提取测试视频序列的空间外观特征和时间运动特征，然后对所述空间外观特征和所述时间运动特征进行融合得到对应的时空特征，再基于所述时空特征获取对应的重构帧，最后根据所述重构帧计算对应的异常分数；

S3：将所述测试视频序列的异常分数作为其异常检测结果。

优选的，所述异常检测模型包括用于提取空间外观特征的重构编码器，用于提取时间运动特征的预测编码器，与所述重构编码器和所述预测编码器的输出连接且用于融合得到时空特征的融合模块，以及与所述融合模块的输出连接且用于获取重构帧的译码器。

优选的，步骤S2中，将所述测试视频序列的当前帧输入到所述重构编码器，以提取对应的空间外观特征；将所述测试视频序列当前帧之前的若干帧输入到所述预测编码器，以提取对应的时间运动特征。