[发明专利]视频表征模型的训练方法及训练装置

权利要求书

1.一种视频表征模型的训练方法，其特征在于，所述视频表征模型包括与多种模态信息分别对应的多个特征提取模型、和特征融合模型，所述训练方法包括：

获取训练视频、所述训练视频的关于主要任务的标注数据和所述训练视频的关于辅助任务的标注数据，其中，所述主要任务是基于所述多种模态信息的特征的任务，所述辅助任务是基于所述多种模态信息中的一种模态信息的特征的任务；

从所述训练视频获取其所包含的所述多种模态信息；

将所述多种模态信息分别输入到对应的特征提取模型中，由所述多个特征提取模型提取出所述训练视频的所述多种模态信息的特征；

将所述多种模态信息的特征输入到所述特征融合模型中，由所述特征融合模型得到所述训练视频的多模态融合特征；

将所述多模态融合特征输入到主要任务模型中，由所述主要任务模型得到所述训练视频的主要任务预测数据；

将由所述多个特征提取模型提取出的所述训练视频的所述多种模态信息的特征中与所述辅助任务相关的一种模态信息的特征输入到辅助任务模型中，由所述辅助任务模型得到所述训练视频的辅助任务预测数据；

基于所述主要任务预测数据和所述训练视频的关于主要任务的标注数据、所述辅助任务预测数据和所述训练视频的关于辅助任务的标注数据来调整所述多个特征提取模型、所述特征融合模型、所述主要任务模型、所述辅助任务模型的参数，对所述视频表征模型进行训练。

2.一种基于视频表征模型的视频分类方法，其特征在于，包括：

获取待分类视频；

将所述待分类视频输入到根据如权利要求1所述的训练方法训练得到的视频表征模型中，由所述视频表征模型得到所述待分类视频的多模态融合特征；

基于所述多模态融合特征对所述待分类视频进行分类。

3.一种基于视频表征模型的视频聚类推荐方法，其特征在于，包括：

获取待推荐视频；

将所述待推荐视频输入到根据如权利要求1所述的训练方法训练得到的视频表征模型中，由所述视频表征模型得到所述待推荐视频的多模态融合特征；

基于所述多模态融合特征对所述待推荐视频进行聚类并推荐。

4.一种基于视频表征模型的视频搜索方法，其特征在于，包括：

获取用于视频搜索的文本信息，并计算所述文本信息的特征；

利用根据如权利要求1所述的训练方法训练得到的视频表征模型获取视频的多模态融合特征；

比较所述多模态融合特征和所述文本信息的特征，将相似性高的视频确定为搜索结果。

5.一种视频表征模型的训练装置，其特征在于，所述视频表征模型包括与多种模态信息分别对应的多个特征提取模型、和特征融合模型，所述训练装置包括：

第一获取单元，被配置为：获取训练视频、所述训练视频的关于主要任务的标注数据和所述训练视频的关于辅助任务的标注数据，其中，所述主要任务是基于所述多种模态信息的特征的任务，所述辅助任务是基于所述多种模态信息中的一种模态信息的特征的任务；

第二获取单元，被配置为：从所述训练视频获取其所包含的所述多种模态信息；

特征提取单元，被配置为：将所述多种模态信息分别输入到对应的特征提取模型中，由所述多个特征提取模型提取出所述训练视频的所述多种模态信息的特征；

特征融合单元，被配置为：将所述多种模态信息的特征输入到所述特征融合模型中，由所述特征融合模型得到所述训练视频的多模态融合特征；

主要任务预测单元，被配置为：将所述多模态融合特征输入到主要任务模型中，由所述主要任务模型得到所述训练视频的主要任务预测数据；

辅助任务预测单元，被配置为：将由所述多个特征提取模型提取出的所述训练视频的所述多种模态信息的特征中与所述辅助任务相关的一种模态信息的特征输入到辅助任务模型中，由所述辅助任务模型得到所述训练视频的辅助任务预测数据；

训练单元，被配置为：基于所述主要任务预测数据和所述训练视频的关于主要任务的标注数据、所述辅助任务预测数据和所述训练视频的关于辅助任务的标注数据来调整所述多个特征提取模型、所述特征融合模型、所述主要任务模型、所述辅助任务模型的参数，对所述视频表征模型进行训练。