[发明专利]视频分类方法、视频分类装置及电子设备

说明书

本发明公开了一种视频分类方法、视频分类装置、电子设备及计算机可读存储介质，其中，该视频分类方法包括：从待分类视频中抽取N张视频帧，其中；基于对象特征提取网络，在待分类视频的视频帧中提取目标对象的关键点；根据提取到的所述关键点确定所述视频帧中的至少一个关键区域；基于视频分类网络，根据所述至少一个关键区域对所述待分类视频进行分类预测，获得所述待分类视频的分类结果。本发明提供的技术方案能够有效提高视频分类的鲁棒性。

技术领域

本发明涉及视频技术领域，具体涉及一种视频分类方法、视频分类装置、电子设备及计算机可读存储介质。

背景技术

随着视频技术和网络技术的发展，用户可以从多种渠道获得各种各样的视频资源。

由于视频资源的数量过于庞大，因此，“如何对这些视频进行分类，以使得用户能够从海量的视频中更加方便地获取自己感兴趣的视频”成为计算机视觉领域里面非常重要且具有挑战性的研究热点之一。

传统的视频分类方法主要基于视觉信息，其中涉及到特征提取、视频建模、分类技术三个方面的内容。在特征提取环节，传统的视频分类方法通常选取视频帧的全局特征来表示视频，在视频建模和分类技术环节，基于提取的视频帧的全局特征进行视频行为分类预测，并基于分类预测的结果对视频进行分类。

发明内容

本发明提供一种视频分类方法、视频分类装置、电子设备及计算机可读存储介质，用于提高视频分类的鲁棒性。

本发明第一方面提供一种视频分类方法，包括：

基于对象特征提取网络，在待分类视频的视频帧中提取目标对象的关键点；

根据提取到的所述关键点确定所述视频帧中的至少一个关键区域；

基于视频分类网络，根据所述至少一个关键区域对所述待分类视频进行分类预测，获得所述待分类视频的分类结果。

基于发明第一方面，在第一种可能的实现方式中，所述基于对象特征提取网络，在待分类视频的视频帧中提取目标对象的关键点，包括：

基于对象特征提取网络，分别在待分类视频的N张视频帧中提取目标对象的关键点，所述N不小于2；

所述基于视频分类网络，根据所述至少一个关键区域对所述待分类视频进行分类预测，获得所述待分类视频的分类结果，包括：

基于视频分类网络，分别根据每张视频帧中的关键区域对所述每张视频帧进行分类预测，获得所述N张视频帧的分类结果；

对所述N张视频帧的分类结果进行融合，得到所述待分类视频的分类结果。

基于发明第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述基于视频分类网络，分别根据每张视频帧中的关键区域对所述每张视频帧进行分类预测，获得所述N张视频帧的分类结果包括：

基于所述视频分类网络，分别对所述N张视频帧进行分类预测，得到各张视频帧的分类结果；

基于所述视频分类网络，分别根据每张视频帧中的关键区域进行分类预测，得到每张视频帧中的各个关键区域的分类结果；

基于同一视频帧的各个关键区域的分类结果，对相应视频帧的分类结果进行更新。

基于本发明第一方面，或者本发明第一方面的第一种可能的实现方式，或者，本发明第一方面的第二种可能的实现方式，在第三种可能的实现方式中，所述根据提取到的所述关键点确定所述视频帧中的至少一个关键区域，包括：

当从所述视频帧中提取到与人脸相关的关键点时，从所述视频帧中确定一个或两个以上包含与同一人脸相关的所有关键点的关键区域；

和/或，