[发明专利]基于视频的目标检测方法、装置、设备及存储介质

权利要求书

1.一种基于视频的目标检测方法，其特征在于，所述方法包括：

获取待检测视频中的连续N帧视频图像，所述N为大于1的整数；

调用目标检测模型，所述目标检测模型至少包括三维卷积层和目标检测层，所述三维卷积层用于将所述N帧视频图像的特征进行卷积融合，所述目标检测层用于基于卷积融合后得到的目标特征图检测出视频图像中的目标；

将所述N帧视频图像输入至所述目标检测模型中进行处理，输出目标检测结果。

2.如权利要求1所述的方法，其特征在于，所述目标检测模型包括的三维卷积层的总数量为多个，所述将所述N帧视频图像输入至所述目标检测模型中进行处理，输出目标检测结果，包括：

将所述N帧视频图像输入至所述目标检测模型中；

依次通过多个三维卷积层对所述N帧视频图像进行卷积融合处理；

从所述多个三维卷积层的最后一个三维卷积层输出的所有特征图中确定所述目标特征图；

通过所述目标检测层对所述目标特征图进行目标检测处理，输出所述目标检测结果。

3.如权利要求2所述的方法，其特征在于，所述目标检测模型还包括多个降采样层，其中，所述多个三维卷积层中的每相邻两个三维卷积层之间包括至少一个降采样层；

所述依次通过所述多个三维卷积层对所述N帧视频图像进行卷积融合处理，包括：

依次通过所述多个三维卷积层中的每个三维卷积层对所述N帧视频图像进行卷积融合，以及通过与所述每个三维卷积层连接的降采样层对卷积融合处理后的特征图进行降采样处理。

4.如权利要求3所述的方法，其特征在于，所述多个三维卷积层中的前M个三维卷积层在时间维度上的卷积核的大小为1，所述多个三维卷积层中除所述前M个三维卷积层之外的其他三维卷积层在时间维度上的卷积核的大小大于1，所述M为大于或等于1且小于所述总数量的整数。

5.如权利要求3或4所述的方法，其特征在于，所述从所述多个三维卷积层的最后一个三维卷积层输出的所有特征图中确定所述目标特征图，包括：

当所述降采样层包括空间维度的降采样和时间维度的降采样时，将所述多个三维卷积层的最后一个三维卷积层输出的特征图确定为所述目标特征图；

或者，

当所述降采样层仅包括空间维度的降采样时，从所述多个三维卷积层的最后一个三维卷积层输出的所有特征图中，将所述N帧视频图像中处于中间位置的视频图像对应的特征图确定为所述目标特征图；或者，确定所述多个三维卷积层的最后一个三维卷积层输出的所有特征图在时间维度上的平均值，将确定的平均值对应的特征图确定为所述目标特征图。

6.一种基于视频的目标检测装置，其特征在于，所述装置包括：

获取模块，用于获取待检测视频中的连续N帧视频图像，所述N为大于1的整数；

调用模块，用于调用目标检测模型，所述目标检测模型至少包括三维卷积层和目标检测层，所述三维卷积层用于将所述N帧视频图像的特征进行卷积融合，所述目标检测层用于基于卷积融合后得到的目标特征图检测出视频图像中的目标；

处理模块，用于将所述N帧视频图像输入至所述目标检测模型中进行处理，输出目标检测结果。

7.如权利要求6所述的装置，其特征在于，所述处理模块用于：

当所述目标检测模型包括的三维卷积层的总数量为多个时，将所述N帧视频图像输入至所述目标检测模型中；

依次通过多个三维卷积层对所述N帧视频图像进行卷积融合处理；

从所述多个三维卷积层的最后一个三维卷积层输出的所有特征图中确定所述目标特征图；

通过所述目标检测层对所述目标特征图进行目标检测处理，输出所述目标检测结果。