[发明专利]一种多模态乐曲标题生成方法、装置及存储介质

说明书

本发明提供一种多模态乐曲标题生成方法、装置及存储介质，包括：获取待生成标题的乐曲文件中的音频数据对应的梅尔频谱特征；通过乐曲特征提取器根据所述梅尔频谱特征生成对应的音频特征向量矩阵；获取所述乐曲文件的文本数据，并输入自回归语言模型；通过特征融合模块获取所述自回归语言模型中预设卷积块层输出的文本向量矩阵，对所述音频特征向量矩阵和所述文本向量矩阵进行几何特性对齐，并映射到同一分布空间后进行拼接，得到对应的融合向量矩阵；通过所述自回归语言模型中预设卷积块层后的各个卷积块层对所述融合向量矩阵进行处理后从输出层输出若干个乐曲标题，所述输出层包括概率输出层和采样算法处理层。

技术领域

本发明涉及互联网技术领域，具体而言，涉及一种多模态乐曲标题生成方法、装置及存储介质。

背景技术

随着人民日益增长的文化精神需求，各种精神创作呈现出多元化、多样化以及巨量化的趋势，当前音乐创作的数量已经难以满足人民日益增长的精神需求。在音乐创作过程中，乐曲的标题可以为大量音乐创作者提供灵感，从而加速创作过程。人工编写标题时，若数量较大，往往需要多人合作完成，即每个人编写一部分，由于个人的主观性，导致编写出的标题质量参差不齐，同时也不是一个风格；另一方面，每个人的词汇量有限，在编写一定数量标题后，会出现词穷的现象。传统基于规则的标题生成方案，需要语言学专家指导开发人员，构造语法规则，从而生成标题。受限于个人的眼界和学识，得到的规则可能不尽如人意，无法做到多样性。所以需要提供一种方案使生成的乐曲标题更好地概括整个乐曲的同时更加多样化。

发明内容

本发明的目的在于提供一种多模态乐曲标题生成方法、装置及存储介质，用以实现使生成的乐曲标题更好地概括整个乐曲的同时更加多样化的技术效果。

第一方面，本发明实施例提供了一种多模态乐曲标题生成方法，包括获取待生成标题的乐曲文件中的音频数据对应的梅尔频谱特征；通过乐曲特征提取器根据所述梅尔频谱特征生成对应的音频特征向量矩阵；获取所述乐曲文件的文本数据，并输入自回归语言模型；通过特征融合模块获取所述自回归语言模型中预设卷积块层输出的文本向量矩阵，对所述音频特征向量矩阵和所述文本向量矩阵进行几何特性对齐，并映射到同一分布空间后进行拼接，得到对应的融合向量矩阵；通过所述自回归语言模型中预设卷积块层后的各个卷积块层对所述融合向量矩阵进行处理后从输出层输出若干个乐曲标题，所述输出层包括概率输出层和采样算法处理层。

进一步地，所述方法还包括：构建训练数据集，所述训练数据集包括预训练语料、音乐数据集、乐曲标题数据集和音频与标题对应数据集；通过所述预训练语料对所述自回归语言模型进行预训练，获得第一预训练模型；通过所述音乐数据集对所述乐曲特征提取器进行预训练，获得第二预训练模型；通过所述乐曲标题数据集对所述第一预训练模型进一步进行训练，获得第三预训练模型；通过所述音频与标题对应数据集对所述第二预训练模型和所述第三预训练模型进行微调训练，获得多模态乐曲标题生成模型。

进一步地，所述微调训练包括：将所述第二预训练模型最后一层的参数去掉，其余参数加载到乐曲特征提取器中，将第一预训练模型概率输出层的参数去掉，其余参数加载到所述自回归语言模型中，将所述特征融合模块的所有层参数初始化，以音频与标题对应数据集中的音频数据的梅尔频谱特征作为输入，对应的标题作为输出，训练模型，直到模型收敛。

进一步地，所述方法还包括：对所述训练数据集进行去重处理，删除重复的数据；根据设置的阈值范围筛选所述训练数据集中符合要求的文本数据和音频数据；对所述训练数据集中的文本数据和音频数据进行去噪处理。

进一步地，所述去噪处理包括：对于训练数据集中的文本数据，根据设置的目标语言去除含有非目标语言的数据，同时去除噪声符号；对于训练数据集中的音频数据，则删除静默时间超过50％的数据，同时统一音频数据的格式和采样率，提取所述音频数据的梅尔频谱特征。

进一步地，所述噪声符号包括标点符号、空白字符和控制字符。