[发明专利]视频分类方法和装置、电子设备和存储介质

说明书

本申请涉及一种视频分类方法和装置、电子设备和存储介质。其中，方法包括：获取需要进行分类的待处理视频；对待处理视频按照第一抽帧方案进行抽帧，得到多个第一视频帧；对待处理视频按照第二抽帧方案进行抽帧，得到多个第二视频帧，其中，第一视频帧的数量多于第二视频帧的数量；基于自注意力机制对第一视频帧以及第二视频帧进行处理，得到用于指示待处理视频的类别的行为类别的分类结果。本实施例中的方法，提供了一种无需通过3D卷积神经网络获取视频的时序信息的方法，可以有效解决相关技术中存在的计算过程比较慢，消耗的计算资源比较多的技术问题。

技术领域

本申请涉及图像处理技术领域，尤其涉及一种视频分类方法和装置、电子设备和存储介质。

背景技术

近几年来，卷积神经网络的成功应用，使得视觉领域发展迅速，从处理图像到2D卷积网络，到处理视频的3D卷积网络，技术也在不断的迭代升级，互联网社交平台的快速发展，产生了大量的视频数据，所以随着行业的不同发展，新的问题也在出现，也需要新的技术来解决这些问题。目前基于短视频技术的研究越来越多，像3D卷积神经网络，双流网络等，也有好多基于transformer的方法，因为视频除了包含空间维度的信息外，还有时间维度的信息。所以如何得到不同维度的信息，并将不同维度的信息进行融合，才能准确有效的处理短视频，才能有更好的用户体验。

相关技术中，使用3D卷积神经网络提取视频的特征；但是，这种方法的操作是利用3D卷积神经网络，将输入的视频经过3D卷积操作后，得到一条特征，再利用这条特征进行最后的分类。这种方法的优点很明显，操作简单，每个视频最后得到一条特征，便于处理。缺点是3D卷积神经网络虽然可以得到视频的时序信息，但计算过程比较慢，消耗的计算资源比较多。

针对相关技术中存在的通过3D卷积神经网络获取视频的时序信息，存在的计算过程比较慢，消耗的计算资源比较多的技术问题，目前尚未提供有效的解决方案。

发明内容

为了解决上述通过3D卷积神经网络获取视频的时序信息，存在的计算过程比较慢，消耗的计算资源比较多的技术问题，本申请提供了一种视频分类方法和装置、电子设备和存储介质。

第一方面，本申请实施例提供了一种视频分类方法，包括：

获取需要进行分类的待处理视频；

对所述待处理视频按照第一抽帧方案进行抽帧，得到多个第一视频帧；对所述待处理视频按照第二抽帧方案进行抽帧，得到多个第二视频帧，其中，所述第一视频帧的数量多于所述第二视频帧的数量；

基于自注意力机制对所述第一视频帧以及所述第二视频帧进行处理，得到用于指示所述待处理视频的行为类别的分类结果。

可选地，如前述的方法，所述对所述待处理视频按照第一抽帧方案进行抽帧，得到多个第一视频帧，包括：

确定第一抽帧方案所指示的单位时间抽帧数；

按照所述单位时间抽帧数在所述待处理视频中进行抽帧，得到多个第一预设视频帧；

对所有所述第一预设视频帧中的两个时序相邻的所述第一预设视频帧进行插帧操作，得到第一插帧后视频序列；

将所述第一插帧后视频序列中的视频帧作为所述第一视频帧。

可选地，如前述的方法，所述对所有所述第一预设视频帧中的两个时序相邻的所述第一预设视频帧进行插帧操作，包括：

对所述两个时序相邻的所述第一预设视频帧进行作差得到第一过渡视频帧，其中，所述第一预设视频帧用于指示所述两个时序相邻的所述第一预设视频帧之间的差异；

将所述第一过渡视频帧插入所述两个时序相邻的所述第一预设视频帧之间。