[发明专利]视频检测方法、装置、电子设备和计算机可读介质

说明书

本申请实施例公开了视频检测方法、装置、电子设备和计算机可读介质。所述方法的实施例包括：对直播视频数据进行预处理，生成帧序列；依次对该帧序列中的相邻帧进行差分运算，基于差分运算结果，确定该帧序列中的候选帧，以构成候选帧序列；基于预先训练的至少一个检测模型，检测该候选帧序列中的目标帧，其中，该目标帧中的人体对象的行为类别为目标行为类别。该实施方式提高了视频检测速度。

技术领域

本申请实施例涉及计算机技术领域，具体涉及视频检测方法、装置、电子设备和计算机可读介质。

背景技术

在视频直播场景中，通常存在一些占比较少但又比较具有吸引力的环节，例如主播跳舞的环节。若将这些环节快速检测出来，则具备很强的用户价值和商业价值。

相关的检测方式，通常是采用基于图片的行为类别检测技术，直接对直播视频中的帧中的人体对象进行行为类别检测，从而识别出对应有指定行为(例如跳舞行为)的帧。然而，这种方式需要逐一确定各帧中的人体对象的行为类别，数据计算量较大，导致在直播场景中，无法满足实时性要求。

发明内容

本申请实施例提出了视频检测方法、装置、电子设备和计算机可读介质，以解决现有技术中采用基于图片的行为类别检测技术检测对直播视频中的帧进行检测所导致的检测速度较慢、无法满足检测的实时性的技术问题。

第一方面，本申请实施例提供了一种视频检测方法，该方法包括：对直播视频数据进行预处理，生成帧序列；依次对帧序列中的相邻帧进行差分运算，基于差分运算结果，确定帧序列中的候选帧，以构成候选帧序列；基于预先训练的至少一个检测模型，检测候选帧序列中的目标帧，其中，目标帧中的人体对象的行为类别为目标行为类别。

在一些实施例中，至少一个检测模型包括行为类别检测模型，行为类别检测模型用于检测图像中的人体对象的行为类别是否为目标行为类别；以及基于预先训练的至少一个检测模型，检测候选帧序列中的目标帧，包括：将候选帧序列中的候选帧输入至行为类别检测模型，确定所输入的候选帧中的人体对象的行为类别是否为目标行为类别；将属于目标行为类别的候选帧确定为目标帧。

在一些实施例中，至少一个检测模型还包括光流预测模型，光流预测模型用于预测两图像的光流图；以及在将候选帧序列中的候选帧输入至行为类别检测模型之前，基于预先训练的至少一个检测模型，检测候选帧序列中的目标帧，还包括：将候选帧序列输入至光流预测模型，得到候选帧序列中的相邻候选帧的光流图；确定所得到的各光流图的像素分布是否满足预设条件；从候选帧序列中，删除不满足预设条件的光流图对应的候选帧；将删除不满足预设条件的光流图对应的候选帧后的候选帧序列，作为待输入至行为类别检测模型的候选帧序列。

在一些实施例中，行为类别检测模型通过如下步骤训练得到：获取样本集，其中，样本集中的样本包括图像样本和标注信息，标注信息用于指示图像样本中的人体对象的行为类别是否为目标行为类别；将样本集中的图像样本作为三维卷积神经网络的输入，将所输入的图像样本对应的标注信息作为三维卷积神经网络的输出，利用机器学习方法，训练得到行为类别检测模型。

在一些实施例中，对直播视频数据进行预处理，生成帧序列，包括：对直播视频数据进行抽帧；将所抽取的各帧缩放至目标尺寸；依次将缩放后的帧进行汇总，生成帧序列。

在一些实施例中，依次对帧序列中的相邻帧进行差分运算，基于差分运算结果，确定帧序列中的候选帧，以构成候选帧序列，包括：依次对帧序列中的相邻帧进行差分运算，生成差分图像序列；分别对差分图像序列中的各差分图像的像素值进行归一化；分别确定归一化后的各差分图像的像素平均值，作为差分数值；将差分数值大于或等于预设阈值的差分图像对应的目标帧中的帧确定为候选帧，以构成候选帧序列。

在一些实施例中，对所检测出的目标帧进行整合，生成目标行为视频片段，包括：按照时间顺序对所检测出的目标帧进行合并，生成初始视频；对初始视频进行平滑处理，生成目标行为视频片段。