[发明专利]一种音频推荐方法、装置及存储介质

说明书

本申请公开了一种音频推荐方法、装置及存储介质，涉及计算机技术领域，用以提高音频推荐的准确度。该方法中，在确定能够描述待配乐图像信息的语义内容的图像特征信息后，将图像特征信息与同样能够描述音频的语义特征的文本特征信息进行特征相似度的计算，并根据计算的特征相似度，推荐可作为待配乐图像信息的背景音乐的音频。这样，通过匹配待配乐图像信息与音频的语义，将语义相同或相似的音频推荐给用户，使得音频推荐更为准确；同时，也能够减少用户在众多与待配乐图像信息无关的音频中选择配乐时的操作复杂度，节省了用户在配乐时的时间。

技术领域

本申请涉及计算机技术领域，尤其涉及一种音频推荐方法、装置及存储介质。

背景技术

随着各类即时通信应用、信息共享平台应用的兴起，用户可以在上述平台分享图片、视频等图像信息。而用户在分享图像信息时，通常会对所分享的图像信息进行配乐。

然而在现有技术中，用户在为分享的图像信息进行配乐时，需要在音频库中选择音频。然而，在音频库中自动为用户推荐的音频多为当前的热门音乐，不能很好的符合用户的当前要求，因此导致推荐的音频准确度有待提高。

发明内容

申请实施例提供一种音频推荐方法、装置及存储介质，用以提高音频推荐的准确度。

第一方面，提供一种音频推荐的方法，包括：

获取待配乐图像信息；其中，所述待配乐图像信息中包括至少一帧图像；

对所述待配乐图像信息进行特征提取，得到能够描述所述待配乐图像信息的语义内容的图像特征信息；

确定所述图像特征信息与多个文本特征信息中的每个文本特征信息的特征相似度；其中，所述文本特征信息与音频具有对应关系，所述文本特征信息用于描述音频的语义特征；

根据所述特征相似度，从所述多个音频中选择指定数量的音频作为所述待配乐图像信息的推荐音频。

在一个实施例中，若所述待配乐图像信息中包括多帧图像，所述对所述待配乐图像信息进行特征提取，得到能够描述所述待配乐图像信息的语义内容的图像特征信息，包括：

基于残差网络模型对所述待配乐图像信息中每一帧图像进行特征提取，得到每一帧图像的特征向量；

根据所述每一帧图像的特征向量，确定所述待配乐图像信息的平均特征向量；

将所述平均特征向量与预设数量的第一卷积核分别进行卷积计算并添加相应的偏置参数，得到指定维度的特征向量作为所述图像特征信息；其中，不同第一卷积核的卷积参数不完全相同。

在一个实施例中，预先存储有每个音频对应的文本，所述方法还包括：

根据以下方法获取各音频的文本特征信息：

对音频对应的文本进行分词处理后，再进行去停用词处理，得到所述音频对应的文本中的各分词；

将所述各分词按照在所述音频对应的文本中的顺序进行拼接，得到分词序列；

将所述分词序列中各分词通过词嵌入，得到各分词关于上下文连接关系的词向量作为所述音频的文本向量；

将所述文本向量与预设数量的第二卷积核进行卷积计算并添加相应的偏置参数，得到所述音频的指定维度的特征向量作为文本特征信息；其中，不同第二卷积核的卷积参数不完全相同，且所述第一卷积核的数量与所述第二卷积核的数量相同。

在一个实施例中，所述确定所述图像特征信息与多个文本特征信息中的每个文本特征信息的特征相似度，包括：

确定所述图像特征信息与每个文本特征信息的余弦相似度。

在一个实施例中，所述第一卷积核和所述第二卷积核的各卷积参数以及偏置参数通过以下方法训练获得：