[发明专利]视频理解任务的模型训练和执行方法、装置、设备及介质

说明书

本公开提供了一种视频理解任务的模型训练和执行方法、装置、设备及介质，涉及人工智能领域，尤其涉及视频理解的领域。具体实现方案为：从第一样本视频的多个评论中获取评论关键信息；将第一样本视频、评论关键信息，分别输入到度量学习模型中的视频理解子模型、语义理解子模型；基于视频理解子模型的输出结果和语义理解子模型的输出结果，对视频理解子模型进行训练；基于训练好的视频理解子模型、待执行任务对应的任务子模型，构造出视频理解任务模型；获取待执行任务对应的第一训练数据，利用第一训练数据对视频理解任务模型进行训练。该方法提升了训练数据的获取效率，并且可以确保视频理解子模型可以较准确地对视频的内容进行理解。

技术领域

本公开涉及人工智能领域，尤其涉及视频理解的领域，可以应用在视频分类、视频搜索、视频推荐和广告匹配等场景中。

背景技术

视频理解模型是一种能够理解视频内容的人工智能，在现有的针对视频理解模型的训练过程中，获取训练数据需要耗费大量的人工成本，而且，所获取到的训练数据所包含的信息通常较少，导致训练数据中的信息较为片面，不利于提升视频理解模型的。

发明内容

本公开提供了一种视频理解任务的模型训练和执行方法、装置、设备及介质。

根据本公开的第一方面，提供了一种视频理解任务模型的训练方法，包括：

从第一样本视频的多个评论中获取评论关键信息；

将第一样本视频、评论关键信息，分别输入到度量学习模型中的视频理解子模型、语义理解子模型；

基于视频理解子模型的输出结果和语义理解子模型的输出结果，对视频理解子模型进行训练；

基于训练好的视频理解子模型、待执行任务对应的任务子模型，构造出视频理解任务模型；

获取待执行任务对应的第一训练数据，利用第一训练数据对视频理解任务模型进行训练。

根据本公开的第二方面，提供了一种针对视频的任务执行方法，包括：

获取待执行任务的任务数据，将任务数据输入到根据权利要求1至7任一项训练方法得到的视频理解任务模型；

利用视频理解任务模型输出任务结果。

根据本公开的第三方面，提供了一种视频理解任务模型的训练装置，包括：

评论信息获取模块，用于从第一样本视频的多个评论中获取评论关键信息；

评论信息输入模块，用于将第一样本视频、评论关键信息，分别输入到度量学习模型中的视频理解子模型、语义理解子模型；

第一模型训练模块，用于基于视频理解子模型的输出结果和语义理解子模型的输出结果，对视频理解子模型进行训练；

模型构造模块，用于基于训练好的视频理解子模型、待执行任务对应的任务子模型，构造出视频理解任务模型；

第二模型训练模块，用于获取待执行任务对应的第一训练数据，利用第一训练数据对视频理解任务模型进行训练。

根据本公开的第四方面，提供了一种针对视频的任务执行装置，包括：

任务输入模块，用于获取待执行任务的任务数据，将任务数据输入到根据本公开的第一方面训练方法得到的视频理解任务模型；

任务执行模块，用于利用视频理解任务模型输出任务结果。

根据本公开的第五方面，提供了一种电子设备，包括：

至少一个处理器；以及