[发明专利]一种基于缺失数据补全的微视频分类方法及系统

说明书

本发明属于微视频分类技术领域，提供了一种基于缺失数据补全的微视频分类方法及系统。该方法包括，基于存在部分模态数据缺失的微视频，采用训练好的微视频分类网络，得到存在部分模态数据缺失的微视频的分类结果；所述微视频分类网络包括：基于存在部分模态数据缺失的微视频，采用双向循环生成对抗网络，得到补全微视频的缺失模态；将微视频的原有模态与补全微视频的缺失模态经过公共子空间学习模块，提取视觉模态语义特征表示向量、声音模态语义特征表示向量和文本模态的语义特征表示向量；将得到的视觉模态语义特征表示向量、声音模态语义特征表示向量和文本模态的语义特征表示向量经过全连接层，得到存在部分模态数据缺失的微视频的分类结果。

技术领域

本发明属于微视频分类技术领域，尤其涉及一种基于缺失数据补全的微视频分类方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

随着Web 2.0概念的诞生以及移动互联网的迅速发展，社交媒体平台不断产生并由原来的PC端逐渐扩展到移动端。与此同时，微视频这种媒体形式应运而生。目前市面上存在众多微视频社交媒体平台，例如抖音、西瓜视频、火山小视频、快手等。微视频分类对于视频的分组展示及为用户的个性化推荐具有重要的作用，是微视频平台的重要功能。

这些微视频数据大多来自普通社交媒体用户，属于用户生成的内容(UserGeneration Content，UGC)。相比传统视频，微视频数据中包含了更多社交属性信息，例如评论、话题、点赞、转发量等。这些社交属性与微视频本身所包含的视觉、语音内容一起，为微视频理解提供了更丰富、更多模态的信息表示。然而由于社交媒体平台用户的主观性，其评论、话题等社交属性是否生成也具有一定的不确定性。这些问题导致部分微视频数据出现某些模态数据缺失的情况，这对于面向真实数据的微视频分类的实现具有一定的挑战性。

目前已有部分研究工作针对微视频分类任务展开研究，包括应用多模态多任务的学习方法，结合微视频的多个模态的特征进行微视频分类；利用多模态之间的关联性和互补性，对微视频进行多模态特征表示；或基于微视频所包含概念语义的稀疏性和微视频的低秩性，对微视频进行特征表示，从而进行微视频分类。

虽然该领域研究已经具有众多研究成果，但这些成果都是假定微视频各模态数据是完整的，不存在数据缺失的问题。而现实应用中，用户上传的数据不具有一定的规范性，存在部分数据缺失的情况。对于这样的微视频数据进行分类，现有方法在模型训练之前需要对微视频预先处理，过滤掉部分数据缺失的视频。这显然会降低真实场景下微视频分类任务的准确率。

发明内容

为了解决上述背景技术中存在的技术问题，本发明提供一种基于缺失数据补全的微视频分类方法及系统，其通过多模态学习过程中缺失数据补全方法，学习具有更丰富语义表征能力的微视频特征表示。并将该特征表示的微视频数据进行分类，提高了数据缺失场景下微视频分类的准确率。

为了实现上述目的，本发明采用如下技术方案：

本发明的第一个方面提供一种基于缺失数据补全的微视频分类方法。

一种基于缺失数据补全的微视频分类方法，包括：

基于存在部分模态数据缺失的微视频，采用训练好的微视频分类网络，得到存在部分模态数据缺失的微视频的分类结果；

所述微视频分类网络包括：基于存在部分模态数据缺失的微视频，采用双向循环生成对抗网络，得到补全微视频的缺失模态；

将微视频的原有模态与补全微视频的缺失模态经过公共子空间学习模块，提取视觉模态语义特征表示向量、声音模态语义特征表示向量和文本模态的语义特征表示向量；

将得到的视觉模态语义特征表示向量、声音模态语义特征表示向量和文本模态的语义特征表示向量经过全连接层，得到存在部分模态数据缺失的微视频的分类结果