[发明专利]一种音频推荐方法、装置及存储介质

权利要求书

1.一种音频推荐方法，其特征在于，所述方法包括：

获取待配乐图像信息；其中，所述待配乐图像信息中包括至少一帧图像；

若所述待配乐图像信息中包括多帧图像，基于残差网络模型对所述待配乐图像信息中每一帧图像进行特征提取，得到每一帧图像的特征向量；根据所述每一帧图像的特征向量，确定所述待配乐图像信息的平均特征向量；将所述平均特征向量与预设数量的第一卷积核分别进行卷积计算并添加相应的偏置参数，得到指定维度的特征向量作为图像特征信息；其中，不同第一卷积核的卷积参数不完全相同；

确定所述图像特征信息与多个文本特征信息中的每个文本特征信息的特征相似度；其中，所述文本特征信息与音频具有对应关系；

根据以下方法获取各音频的文本特征信息：对音频对应的文本进行分词处理后，再进行去停用词处理，得到所述音频对应的文本中的各分词；将所述各分词按照在所述音频对应的文本中的顺序进行拼接，得到分词序列；将所述分词序列中各分词通过词嵌入，得到各分词关于上下文连接关系的词向量作为所述音频的文本向量；将所述文本向量与预设数量的第二卷积核进行卷积计算并添加相应的偏置参数，得到所述音频的指定维度的特征向量作为文本特征信息；其中，不同第二卷积核的卷积参数不完全相同，且所述第一卷积核的数量与所述第二卷积核的数量相同；

根据所述特征相似度，从所述多个音频中选择指定数量的音频作为所述待配乐图像信息的推荐音频。

2.如权利要求1所述的方法，其特征在于，所述确定所述图像特征信息与多个文本特征信息中的每个文本特征信息的特征相似度，包括：

确定所述图像特征信息与每个文本特征信息的余弦相似度。

3.如权利要求1所述的方法，其特征在于，所述第一卷积核和所述第二卷积核的各卷积参数以及偏置参数通过以下方法训练获得：

获取训练样本；其中，每一个训练样本包括样本图像信息的图像特征信息以及样本文本的文本特征信息，且所述训练样本的标签为该训练样本中的图像特征信息与文本特征信息之间的主观相似度；

确定各训练样本中的图像特征信息和文本特征信息的特征相似度；

确定所述各训练样本对应的特征相似度与相应的主观相似度之间的误差；

通过反向传播算法将所述误差传播给所述第一卷积核和所述第二卷积核，以更新所述第一卷积核和所述第二卷积核中的卷积参数以及相应的偏置参数，得到符合指定条件的卷积参数和偏置参数。

4.一种音频推荐装置，其特征在于，所述装置包括：

第一获取模块，用于获取待配乐图像信息；其中，所述待配乐图像信息中包括至少一帧图像；

若所述待配乐图像信息中包括多帧图像，特征提取模块包括：

特征提取单元，用于基于残差网络模型对所述待配乐图像信息中每一帧图像进行特征提取，得到每一帧图像的特征向量；

特征平均单元，用于根据所述每一帧图像的特征向量，确定所述待配乐图像信息的平均特征向量；

计算单元，用于将所述平均特征向量与预设数量的第一卷积核分别进行卷积计算并添加相应的偏置参数，得到指定维度的特征向量作为图像特征信息；其中，不同第一卷积核的卷积参数不完全相同；

第一确定相似度模块，用于确定所述图像特征信息与多个文本特征信息中的每个文本特征信息的特征相似度；其中，所述文本特征信息与音频具有对应关系；

根据以下装置获取各音频的文本特征信息：

处理模块，用于对音频对应的文本进行分词处理后，再进行去停用词处理，得到所述音频对应的文本中的各分词；

拼接模块，用于将所述各分词按照在所述音频对应的文本中的顺序进行拼接，得到分词序列；

词嵌入模块，用于将所述分词序列中各分词通过词嵌入，得到各分词关于上下文连接关系的词向量作为所述音频的文本向量；

计算模块，用于将所述文本向量与预设数量的第二卷积核进行卷积计算并添加相应的偏置参数，得到所述音频的指定维度的特征向量作为文本特征信息；其中，不同第二卷积核的卷积参数不完全相同，且所述第一卷积核的数量与所述第二卷积核的数量相同；

推荐模块，用于根据所述特征相似度，从所述多个音频中选择指定数量的音频作为所述待配乐图像信息的推荐音频。