[发明专利]一种多模态乐曲标题生成方法、装置及存储介质

权利要求书

1.一种多模态乐曲标题生成方法，其特征在于，包括：

获取待生成标题的乐曲文件中的音频数据对应的梅尔频谱特征；

通过乐曲特征提取器根据所述梅尔频谱特征生成对应的音频特征向量矩阵；

获取所述乐曲文件的文本数据，并输入自回归语言模型；

通过特征融合模块获取所述自回归语言模型中预设卷积块层输出的文本向量矩阵，对所述音频特征向量矩阵和所述文本向量矩阵进行几何特性对齐，并映射到同一分布空间后进行拼接，得到对应的融合向量矩阵；

通过所述自回归语言模型中预设卷积块层后的各个卷积块层对所述融合向量矩阵进行处理后从输出层输出若干个乐曲标题，所述输出层包括概率输出层和采样算法处理层；

所述方法还包括：

构建训练数据集，所述训练数据集包括预训练语料、音乐数据集、乐曲标题数据集和音频与标题对应数据集；

通过所述预训练语料对所述自回归语言模型进行预训练，获得第一预训练模型；

通过所述音乐数据集对所述乐曲特征提取器进行预训练，获得第二预训练模型；

通过所述乐曲标题数据集对所述第一预训练模型进一步进行训练，获得第三预训练模型；

通过所述音频与标题对应数据集对所述第二预训练模型和所述第三预训练模型进行微调训练，获得多模态乐曲标题生成模型。

2.根据权利要求1所述的方法，其特征在于，所述微调训练包括：

将所述第二预训练模型最后一层的参数去掉，其余参数加载到乐曲特征提取器中，将第一预训练模型概率输出层的参数去掉，其余参数加载到所述自回归语言模型中，将所述特征融合模块的所有层参数初始化，以音频与标题对应数据集中的音频数据的梅尔频谱特征作为输入，对应的标题作为输出，训练模型，直到模型收敛。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对所述训练数据集进行去重处理，删除重复的数据；

根据设置的阈值范围筛选所述训练数据集中符合要求的文本数据和音频数据；

对所述训练数据集中的文本数据和音频数据进行去噪处理。

4.根据权利要求3所述的方法，其特征在于，所述去噪处理包括：

对于训练数据集中的文本数据，根据设置的目标语言去除含有非目标语言的数据，同时去除噪声符号；对于训练数据集中的音频数据，则删除静默时间超过50％的数据，同时统一音频数据的格式和采样率，提取所述音频数据的梅尔频谱特征。

5.根据权利要求4所述的方法，其特征在于，所述噪声符号包括标点符号、空白字符和控制字符。

6.根据权利要求3所述的方法，其特征在于，所述文本数据的阈值范围为1-10个字；所述音频数据的阈值范围为10-60秒；若所述文本数据的字数多余10个字，则删除所述文本数据；若所述音频数据的时间长度低于10秒，则删除所述音频数据；若所述音频数据的时间长度大于60秒，则截掉超过60秒的部分。

7.根据权利要求1所述的方法，其特征在于，所述自回归语言模型为Bert-Chinese模型。

8.一种多模态乐曲标题生成装置，其特征在于，包括存储器和处理器；所述存储器用于存储计算机程序；所述处理器用于执行所述计算机程序实现权利要求1-7任一项所述的方法。

9.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器运行时实现权利要求1-7任一项所述的方法。