[发明专利]一种基于短视频关键帧的背景音乐推荐方法和装置

权利要求书

1.一种基于短视频关键帧的背景音乐推荐方法，包括：

S1：获取带有配乐的视频，并对所述视频视听分离得到纯视频帧和纯音乐，构建由纯视频帧和纯音乐组成的视听素材对；具体步骤为：

（1）：获得视频计算相邻帧之间画面的亮度变化速率，识别视频的转场点，通过转场点，将纯视频帧分割为各场景，基于各场景的最大差异帧和情感状态分析，得到关键帧，对关键帧进行PCA主成分分析，计算二维主成分特征参数，并使用Kmeans聚类算法，根据肘部法则，得到各个分类簇群，对背景音乐做短时傅立叶变换，得到频谱信息，并进行PCA主成分分析，计算二维主成分特征参数，并使用Kmeans聚类算法，根据肘部发布，得到各个分类簇群，将来自于同一个视频的纯音乐和纯视频帧视为正向对，并根据上述的分类簇群聚类结果，正向对还为纯音乐M₁与同类纯音乐的纯视频帧P₁组成的视听素材对、纯视频帧P₂与同类纯视频帧的纯音乐M₂组成的视听素材对；负向对为纯音乐M₃与异类纯音乐的纯视频帧P₃组成的视听素材对、纯视频帧P₄与异类纯视频帧的纯音乐M₄组成的视听素材对，上述的正向对和负相对构成了视听素材对；

（2）：基于公开的图像情感数据库和音乐情感数据库，构建神经网络模型，训练能够识别图像和音乐情感的两个分类器，用两个分类器分别识别视听素材对，剔除情感标签不匹配的视听素材对，并保证视听素材对中积极情感、消极情感数量相当，构建相等数量的正、负向视听素材对，最终组成视听素材对的数据库；S2：基于神经网络构建图像情感分类器和音乐情感分类器，利用图像情感分类器和音乐情感分类器对视听素材对进行情感预测，并根据预测结果筛选视听素材对后，依据情感是否一致构建包含图像和视频的正向对和负向对，以构建用于训练视听关联匹配模型的样本集；S3：基于神经网络构建视听关联匹配模型，采用样本集优化视听关联匹配模型的模型参数；

具体步骤为：

基于视听数据库，构建神经网络模型，训练能够识别纯视频帧和纯音乐匹配度的模型，在此模型的推测结果中，所给出的分值为纯视频帧和纯音乐在同一视听空间下的匹配距离，当纯视频帧和纯音乐正向匹配时，模型将给出较低分值，代表匹配距离较短；反之，则代表匹配距离较远；

S4：针对待推荐背景音乐的短视频帧，选择多段音乐与短视频帧组成多个视听素材对后，分别输入至参数优化后的视听关联匹配模型，经计算获得匹配预测结果，依据匹配预测结果筛选对短视频帧进行背景音乐推荐。

2.根据权利要求1所述的基于短视频关键帧的背景音乐推荐方法，其特征在于，步骤S2中，所述的基于神经网络构建图像情感分类器和音乐情感分类器的具体步骤如下：

以音乐情感数据库和图像情感数据库作为样本数据，分别对神经网络进行训练，以优化网络参数，得到用于识别输入音乐和图像为积极情感或消极情感的音乐情感分类器和图像情感分类器。

3.根据权利要求1所述的基于短视频关键帧的背景音乐推荐方法，其特征在于，步骤S3中，所述的基于神经网络构建视听关联匹配模型，采用样本集优化视听关联匹配模型的模型参数，具体步骤如下：

以筛选剩下的视听素材对作为样本集输入至视听关联匹配模型，使视听素材对中的图像和音乐学习映射到视听空间的映射关系，得到表示在视听空间中匹配距离的匹配结果，根据该匹配结果与视听素材对的标签值构建损失函数来优化视听关联匹配模型的网络参数。

4.根据权利要求1所述的基于短视频关键帧的背景音乐推荐方法，其特征在于，所述依据匹配预测结果筛选对短视频帧进行背景音乐推荐，具体步骤如下：

利用所述的视听关联匹配模型，对所述的待推荐背景音乐的短视频帧与所述的视听素材对中的纯音乐的进行匹配，得出匹配距离及相应分值，按照分值从小到大的顺序，推荐背景音乐。

5.一种基于短视频关键帧的背景音乐推荐装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，其特征在于，所述计算机存储器中还存储有参数优化后的视听关联匹配模型，所述视听关联匹配模型通过权利要求1~4任一项所述的基于短视频关键帧的背景音乐推荐方法构建，所述计算机处理器执行计算机程序时实现以下步骤：

获取待推荐背景音乐的短视频帧，选择多段音乐与短视频帧组成多个视听素材对后，分别输入至参数优化后的视听关联匹配模型，经计算获得匹配预测结果，依据匹配预测结果筛选对短视频帧进行背景音乐推荐。