[发明专利]一种基于短视频关键帧的背景音乐推荐方法和装置

说明书

本发明公开一种基于短视频关键帧的背景音乐推荐方法和装置，包括：获取带有配乐的视频，对视频进行视听分离，并构建视听素材对；利用图像情感分类器和音乐情感分类器筛选视听素材对，以构建用于训练视听关联匹配模型的样本集；基于神经网络构建视听关联匹配模型，采用样本集优化视听关联匹配模型的模型参数；通过优化的关联匹配模型的模型筛选对短视频帧进行背景音乐推荐。本发明公开的方法能够高效、精确的对短视频帧进行背景音乐推荐。

技术领域

本发明涉及计算机自动推荐音乐领域，具体涉及一种基于短视频关键帧的背景音乐推荐方法和装置。

背景技术

音乐推荐技术逐渐成为当前音乐信息智能处理领域的热点，而面向视频进行视听关联的音乐推荐，也随着短视频等形式成为行业界和学术界关注的风口。对于当前的短视频平台来说，如何借助人工智能，帮助用户快速地选择视频配乐，使得用户能够完成短视频的高效剪辑，能够较好地改善用户的使用体验。

在学术领域，面向视频的音乐推荐算法正在不断发展。通过从不同的维度进行视觉、听觉上的关联映射，从而实现视听层面的智能匹配，是当前技术发展的主要方向，很多研究者使用统一的语义映射方法，即通过情感、风格等语义标签构建音画两种模态信息之间的桥梁，使两种模态具有在语义上可统一的映射关系。

D.Zeng等人研究了基于情感相似性的多模态音乐视频检索，基于监督深度规范相关分析(S-DCCA)的视听嵌入算法，该算法将音乐和视频投影到共享空间中，以弥补音乐和视频之间的语义鸿沟；Pandeya.Y等人从预训练的神经网络中提取了音乐(2D CNN)和视频特征(C3D)，通过LSTM网络保留时间变化，并使用机器学习算法评估情感；Zhang等人构建了25万对图片-音乐的数据库，通过提取多维图像和音乐特征，构建了一个图像-音乐情感特征数据库，基于情感相似度计算方法实现图像-音乐的自动检索。也有一些研究者使用统一空间映射的方法，即通过神经网络模型，提取画面与音乐特征并嵌入映射到同一个高维特征空间，将画面与音乐特征翻译成相同维度的、可被计算的高级特征，以便于比较两种素材的相对匹配距离：Hong.S等人使用软内模态约束算法，计算音乐和视频在视听空间下的差异距离，并使具有相似语义的视频和音乐最终在嵌入空间中紧密靠近。此外，还有一些研究者希望通过视听的运动情况构建节奏维度的音乐推荐，即为视频选择合适行进节奏的背景音乐：Lin.J等人基于多任务深度神经网络(MDNN)，利用深度连接成本(PDCC)指标实现智能剪辑；Sato.H等人通过替换和级联音乐片段，匹配视频高潮与音乐高能选段等。

以上研究都为本发明提供了技术基础。然而，目前的推荐方案还存在视频无效内容干扰、关联维度少等问题，使得推荐精度较低，仍未达到较好的推荐效果。

发明内容

本发明提供一种基于视频关键帧的背景音乐推荐方法和装置，所述方法和装置能够减少无效视频内容干扰的，高效、精确的为短视频关键帧提供背景音乐。

一种基于短视频关键帧的背景音乐推荐方法，包括：

S1：获取带有配乐的视频，并对所述视频视听分离得到纯视频帧和纯音乐，构建由纯视频帧和纯音乐组成的视听素材对；

S2：基于神经网络构建图像情感分类器和音乐情感分类器，利用图像情感分类器和音乐情感分类器对视听素材对进行情感预测，并根据预测结果筛选视听素材对后，依据情感是否一致构建包含图像和视频的正向对和负向对，以构建用于训练视听关联匹配模型的样本集；

S3:基于神经网络构建视听关联匹配模型，采用样本集优化视听关联匹配模型的模型参数；

S4：针对待推荐背景音乐的短视频帧，选择多段音乐与短视频帧组成多个视听素材对后，分别输入至参数优化后的视听关联匹配模型，经计算获得匹配预测结果，依据匹配预测结果筛选对短视频帧进行背景音乐推荐。