[发明专利]视频信息处理模型的训练方法、视频信息处理方法及装置

说明书

本发明通过了一种视频信息处理模型的训练方法，包括：获取第一目标视频，确定与所述第一目标视频相对应的第一视频集合和第二视频集合；对第一视频集合行相关性标注，并对第二视频集合中的每一个视频对应的用户行为特征进行标注；根据第一目标视频的视频参数，对视频信息处理模型中的网络参数进行调整；通过视频信息处理模型中的第一视频处理网络，确定与第一目标视频相匹配的融合特征向量。本发明还提供了视频信息处理方法、装置、电子设备及存储介质。本发明所获取的融合特征向量能够用于确定与相应视频推荐进程相对应的待推荐视频，以更符合用户的行为特征。

技术领域

本发明涉及信息处理技术，尤其涉及视频信息处理模型的训练方法、视频信息处理方法、装置、电子设备及存储介质。

背景技术

视频信息向量化表示是很多机器学习算法的基础，如何能够把视频信息准确的表示出来是该方向的研究重点。现有技术大多相对比较片面，没有结构化地对视频进行表示学习。

常见的学习方式包括：1)直接使用视频标签的表示方式，包括视频分类、视频主题、视频发布来源等。通过此类标签对视频进行粗分，可以分为娱乐视频、体育视频，或者细分到篮球集锦、影视花絮。但是这类表示方法比较粗放，分类标签信息需要提前设置并及时更新，而且其内容表示能力是有限的。2)基于文本的学习，包括对视频标题、视频描述信息或者视频标签进行文本语义学习，该类方式比较依赖于文本信息的准确性，但是很多视频存在文本信息缺失的情况，从而使得视频表示不准确。3)基于神经网络模型，使用视频的各种特征作为输入，以人工标注的视频对的相关性作为目标，设计深度网络模型，端到端的学习视频间的相关性，实现视频推荐，但是模型训练时需要人工标注相关视频对数据作为训练数据，因而很难获取大规模的训练数据，同时也无法根据用户的观看习惯与行为特征对模型进行调整，严重影响用户的使用体验。

发明内容

有鉴于此，本发明实施例提供一种视频信息处理模型的训练方法、视频信息处理方法、装置、电子设备及存储介质，本发明实施例的技术方案是这样实现的：

本发明提供了一种视频信息处理模型的训练方法，所述方法包括：

获取第一目标视频，确定与所述第一目标视频相对应的第一视频集合和第二视频集合；

对所述第一视频集合中的每一个视频信息进行相关性标注，并对所述第二视频集合中的每一个视频对应的用户行为特征进行标注；

基于对所述第一视频集合的相关性标注，对所述第一目标视频进行解析以实现获取所述第一目标视频的视频参数；

根据所述第一目标视频的视频参数，确定与所述第一目标视频相匹配的基础特征，以及与所述第一目标视频相匹配的多模态特征；

基于与所述第一目标视频相匹配的基础特征和多模态特征，对视频信息处理模型中的网络参数进行调整，以实现所述视频信息处理模型与所述第一视频集合的相关性相匹配；

基于所述第二视频集合的用户行为特征标注，对视频信息处理模型中的网络参数进行调整，以实现所述视频信息处理模型与所述第二视频集合的用户行为特征相匹配并且与所述第一视频集合的相关性相匹配。

本发明实施例还提供了一种视频信息处理方法，其特征在于，所述方法包括：

获取上文视频以及对应的视频源中的待推荐视频；

对所述待推荐视频进行解析，确定所述待推荐视频对应的基础特征和多模态特征

基于所述待推荐视频的基础特征和所述多模态特征，通过所述视频信息处理模型中的第一视频处理网络，确定与所述待推荐视频相匹配的第一特征向量；

通过所述视频信息处理模型中的第一视频处理网络，确定与所述上文视频相匹配的第二特征向量；