[发明专利]视频理解任务的模型训练和执行方法、装置、设备及介质

权利要求书

1.一种视频理解任务模型的训练方法，包括：

从第一样本视频的多个评论中获取评论关键信息；

将所述第一样本视频、所述所述评论关键信息，分别输入到度量学习模型中的视频理解子模型、语义理解子模型；

基于所述视频理解子模型的输出结果和所述语义理解子模型的输出结果，对所述视频理解子模型进行训练；

基于训练好的所述视频理解子模型、待执行任务对应的任务子模型，构造出视频理解任务模型；

获取所述待执行任务对应的第一训练数据，利用所述第一训练数据对所述视频理解任务模型进行训练。

2.根据权利要求1所述的方法，其中，所述从第一样本视频的多个评论中获取评论关键信息，包括：

获取所述第一样本视频的多个评论，从所述多个评论中确定出字数超过第一预设字数的多个有效评论；

从所述第一样本视频的多个有效评论中获取评论关键信息。

3.根据权利要求1所述的方法，其中，在所述从第一样本视频的多个评论中获取评论关键信息之前，还包括：

获取多个候选视频，并确定每个所述候选视频的评论数量；

将评论数量超过第一预设数量的所述候选视频，确定为第一样本视频。

4.根据权利要求1所述的方法，其中，所述基于所述视频理解子模型的输出结果和所述语义理解子模型的输出结果，对所述视频理解子模型进行训练，包括：

利用所述视频理解子模型输出第一表征向量，利用所述语义理解子模型输出第二表征向量；

确定出所述第一表征向量和所述第二表征向量的相似度，基于所述相似度调整所述视频理解子模型和所述语义理解子模型的参数。

5.根据权利要求1至4中任一项所述的方法，其中，所述视频理解子模型的结构类型包括：基于帧特征的Transformer结构、基于目标底层特征的Transformer结构、三维卷积神经网络结构。

6.根据权利要求1至4中任一项所述的方法，其中，所述语义理解子模型的结构类型至少包括基于文本关键词的Transformer结构。

7.根据权利要求1至4中任一项所述的方法，其中，所述待执行任务至少包括视频分类任务、视频搜索任务、视频推荐任务和广告匹配任务；

所述任务子模型至少包括对应于所述视频分类任务的分类子模型、对应于所述视频搜索任务的搜索子模型、对应于所述视频推荐任务的推荐子模型和对应于所述广告匹配任务的匹配子模型。

8.一种针对视频的任务执行方法，包括：

获取待执行任务的任务数据，将所述任务数据输入到根据权利要求1至7任一项所述训练方法得到的视频理解任务模型；

利用所述视频理解任务模型输出任务结果。

9.一种视频理解任务模型的训练装置，包括：

评论信息获取模块，用于从第一样本视频的多个评论中获取评论关键信息；

评论信息输入模块，用于将所述第一样本视频、所述所述评论关键信息，分别输入到度量学习模型中的视频理解子模型、语义理解子模型；

第一模型训练模块，用于基于所述视频理解子模型的输出结果和所述语义理解子模型的输出结果，对所述视频理解子模型进行训练；

模型构造模块，用于基于训练好的所述视频理解子模型、待执行任务对应的任务子模型，构造出视频理解任务模型；

第二模型训练模块，用于获取所述待执行任务对应的第一训练数据，利用所述第一训练数据对所述视频理解任务模型进行训练。

10.根据权利要求9所述的装置，其中，所述评论信息获取模块在用于从第一样本视频的多个评论中获取评论关键信息时，具体用于：

获取所述第一样本视频的多个评论，从所述多个评论中确定出字数超过第一预设字数的多个有效评论；

从所述第一样本视频的多个有效评论中获取评论关键信息。