[发明专利]音频中的文本对齐方法、装置、电子设备及可读存储介质

说明书

本申请提供了一种音频中的文本对齐方法、装置、电子设备及可读存储介质，所述文本对齐方法包括：获取待处理音频，以及所述待处理音频对应的待对齐文本；根据预设的所述待对齐文本所属语言种类与预设文本字符之间的映射关系，将所述待对齐文本转换为利用统一字符表示的文本表示集合；提取所述待处理音频的语音学特征；将所述文本表示集合以及所述语音学特征输入至训练好的文本对齐模型中，得到所述待处理音频的文本对齐结果。这样，即使在待处理音频对应的待对齐文本中存在不同语言种类的文本，也可以准确地确定出待处理音频的文本对齐结果。

技术领域

本申请涉及音频处理技术领域，尤其是涉及一种音频中的文本对齐方法、装置、电子设备及可读存储介质。

背景技术

音乐作为一种音频文件频繁地出现在社会的娱乐、教育、生活等各个方面，在人们的生活中发挥着不可替代的作用。音乐由乐曲和歌词两个部分组成。歌词能够传达出音乐的内容与思想，搭配上相应的乐曲可以更加生动地向用户展示出音乐所呈现出的意境。同时，为了便于用户了解音乐的播放进度，通常会将乐曲和歌词两个部分对应着呈现给用户。但是，在播放过程中经常会出现歌词与乐曲错位的情况，因此，如何使得歌词与乐曲的同步性更好成为了亟待解决的问题。

发明内容

有鉴于此，本申请的目的在于提供一种音频中的文本对齐方法、装置、电子设备及可读存储介质，即使在待处理音频对应的待对齐文本中存在不同语言种类的文本，也可以准确地确定出待处理音频的文本对齐结果。

本申请实施例提供了一种音频中的文本对齐方法，所述文本对齐方法包括：

获取待处理音频，以及所述待处理音频对应的待对齐文本；

根据预设的所述待对齐文本所属语言种类与预设文本字符之间的映射关系，将所述待对齐文本转换为利用统一字符表示的文本表示集合；

提取所述待处理音频的语音学特征；

将所述文本表示集合以及所述语音学特征输入至训练好的文本对齐模型中，得到所述待处理音频的文本对齐结果。

进一步的，所述根据预设的所述待对齐文本所属语言种类与预设文本字符之间的映射关系，将所述待对齐文本转换为利用统一字符表示的文本表示集合，包括：

确定所述待对齐文本所属的至少一个语言种类，以及所述待对齐文本中的多个字和/或词；

按照每个语言种类与预设文本字符之间的映射关系，确定每个字和/或词对应的国际音标和音素；

基于每个字和/或词对应的国际音标和音素，以及每个字和/或词在所述待对齐文本中的位置，确定所述待对齐文本的文本表示集合。

进一步的，所述将所述文本表示集合以及所述语音学特征输入至训练好的文本对齐模型中，得到所述待处理音频的文本对齐结果，包括：

根据所述文本表示集合，确定所述待对齐文本中每个字和/或词的发音特征，并根据所述语音学特征所指示的语音频谱，确定所述待处理音频的发音特征；

基于所述待对齐文本中每个字和/或词的发音特征，和所述待处理音频的发音特征，确定所述待对齐文本与所述待处理音频的多种对齐方式，以及每种对齐方式对应的对齐概率；

确定所述多种对齐方式中对齐概率最大的对齐方式为所述待处理音频的文本对齐结果。

进一步的，通过以下步骤训练所述文本对齐模型：

获取多个样本处理音频和每个样本处理音频对应的样本对齐文本，以及每个样本处理音频对应的真实对齐结果；

针对于每个样本对齐文本，根据预设的所述样本对齐文本所属语言种类与预设文本字符之间的映射关系，将所述样本对齐文本转换为利用统一字符表示的样本表示集合；