[发明专利]基于转音音符处理方法的歌唱合成方法及系统

权利要求书

1.一种转音音符处理方法，其特征在于，包括如下步骤：

S1.采集曲谱特征离散数据，并将曲谱特征离散数据转化为对应的数值数据，构建音符的音素ID值对应表；其中，曲谱特征离散数据包括音符音素、音符音高以及音符持续时间；

S2.对转音音符进行处理，将转音音符与上一个普通音符的音素进行处理得到新转音音符的音素，再根据音素ID值对应表查表得出相应的数值数据。

2.根据权利要求1所述的转音音符处理方法，其特征在于，所述S2具体为：将转音音符邻近的上一个第一普通音符进行音素拆分，根据转音音符的波形特征，将第一普通音符的音素进行扩展，得到第一普通音符与转音音符融合的新转音音符音素，根据音素ID值对应表，查表得出新转音音符音素数值、新转音音符持续时间数值以及新转音音符音高数值。

3.根据权利要求1所述的转音音符处理方法，其特征在于，所述S2具体为：将转印音符邻近的上一个第一普通音符进行音素拆分，将转音音符作为一种额外信息加入至第一普通音符拆分后的音素末尾，得到新转音音符音素，将额外信息的持续时间置为0，根据音素ID值对应表，查表得出新转音音符音素数值、新转音音符持续时间数值以及新转音音符音高数值。

4.根据权利要求1所述的转音音符处理方法，其特征在于，所述S2具体为：选取转音音符的上个一个普通音符为第一个普通音符，同时进行任务一以及任务二，其中：

任务一：将第一普通音符进行音素拆分，根据音素ID值对应表查表得到第一普通音符音素数值、第一普通音符持续时间数值以及第一普通音符音高数值；

任务二：将转音音符当做独立的第二普通音符，并为第二普通音符附上单音素，将第一普通音符的音素进行拆分，将单音素与第一普通音符音素进行合并得到新转音音符音素，根据音素ID值对应表，查表得到新音符音素数值、新音符持续时间数值以及新音符音高数值。

5.一种支持转音的歌唱合成方法，其特征在于，采用如权利要求1-4任意一项转音音符处理方法，其包括如下步骤：

S1.数据采集以及数据处理：收集歌曲曲谱并根据收集的曲谱特征录制干声音频，分别提取歌曲曲谱的曲谱特征离散数据以及干声音频的音频特征数据；

S2.模型搭建：构建歌唱合成模型，该模型包括用于转换曲谱特征离散数据以及对转音音符处理的数据转换模块、接收数据转换模块转换数据的声学模型以及接收声学模型输出的声学特征的声码器；其中，数据转换模块应用所述转音音符处理方法；

S3.模型训练：分别训练声学模型以及声码器；

S4.模型推理：将需要合成歌曲曲谱经过数据转换模块转换为曲谱数值数据，再将曲谱数值数据输入到声学模型得到曲谱声学特征，最后将曲谱声学特征以及音频声学特征输入至声码器，得到最终的歌声波形，并保存。

6.根据权利要求5所述的支持转音的歌唱合成方法，其特征在于，所述音频特征数据提取包括如下步骤：

第一步，音量归一化处理；

第二步，提取干声音频的音频声学特征；

第三步：对音频声学特征进行归一化处理，作为声码器的输入。

7.根据权利要求5所述的支持转音的歌唱合成方法，其特征在于，所述声码器的训练方法为：将曲谱数值数据作为输入，以曲谱声学特征作为输出，分割训练数据集和测试数据集来训练声学模型，训练直到声学模型loss收敛，中间每隔一定时间保存模型文件，选取测试数据集上与预设结果最接近的文件作为声学模型的训练结果。

8.根据权利要求5所述的支持转音的歌唱合成方法，其特征在于，所述声码器的训练方法为：调整声码器的参数，以曲谱声学特征以及音频声学特征为输入，以单声道干声波形为输出，进行训练直到声码器收敛，选取测试数据上与预设结果最接近的文件作为声码器的训练结果。