[发明专利]听障用户语音合成方法、装置、设备及存储介质

说明书

本申请公开了一种听障用户语音合成方法、装置、设备及存储介质，在确定目标听障用户的发音质量满足第一发音质量条件时，获取到第一语音合成模型，模型训练时的训练数据以健全人发音数据的音色、文本以及相似听障韵律合成，相似听障韵律为与健全人发音数据的韵律相似的听障用户的发音数据的韵律，基于此训练的模型能够学习到健全人发音的风格。进一步，将模型中韵律编码模块的编码特征固定为目标听障用户的韵律特征，将音色编码模块的编码特征固定为目标听障用户的音色特征，得到的处理后语音合成模型作为目标听障用户的个性化语音合成模型，能够合成个性化语音，且由于模型学习到了健全人的发音风格，使得最终合成的语音更加顺畅、清晰。

技术领域

本申请涉及语音合成技术领域，更具体的说，是涉及一种听障用户语音合成方法、装置、设备及存储介质。

背景技术

听障人群只要分为两种，一种是自婴儿时期就出现听力问题，导致交流障碍。另一种是后天听障由于长期不进行语言交流，导致因长期不使用导致的发音器官僵化和构音器官功能退化，使发声过程中的呼吸掌握、嗓音言语声的音调音强、共鸣腔的协调作用、抑扬顿挫韵律都受到极大的影响，很难保持正常的音色及韵律。

现有的听障人群辅助发音系统，一般都是通过统一的语音机器人进行文本到语音的合成，无法为不同听障用户提供个性化的合成语音。而现有的变声技术是对发音人的声音进行高精度的复刻，并未考虑听障人群发音不准的实际情况，进而也无法将现有的变声技术应用于对听障人群的语音合成场景中。

发明内容

鉴于上述问题，提出了本申请以便提供一种听障用户语音合成方法、装置、设备及存储介质，以实现为听障用户合成个性化、清晰的语音的目的。

具体方案如下：

第一方面，提供了一种听障用户语音合成方法，包括：

获取目标听障用户的发音质量；

若所述发音质量满足设定的第一发音质量条件，则获取预配置的与所述第一发音质量条件对应的第一语音合成模型，所述第一语音合成模型包括韵律编码模块、文本编码模块、音色编码模块及解码模块，模型以模拟听障用户的发音数据作为训练数据训练得到，所述模拟听障用户的发音数据是以健全人发音数据的音色、文本及相似听障韵律合成的，其中，相似听障韵律为与所述健全人发音数据的韵律满足设定韵律相似度条件的听障用户的发音数据的韵律；

获取所述目标听障用户的音色特征和韵律特征，对所述第一语音合成模型进行处理，处理后作为所述目标听障用户的个性化语音合成模型，所述处理包括：将其中所述韵律编码模块的编码特征固定为所述目标听障用户的韵律特征，将所述音色编码模块的编码特征固定为所述目标听障用户的音色特征。

第二方面，提供了一种听障用户语音合成装置，包括：

发音质量获取单元，用于获取目标听障用户的发音质量；

第一语音合成模型获取单元，用于若所述发音质量满足设定的第一发音质量条件，则获取预配置的与所述第一发音质量条件对应的第一语音合成模型，所述第一语音合成模型包括韵律编码模块、文本编码模块、音色编码模块及解码模块，模型以模拟听障用户的发音数据作为训练数据训练得到，所述模拟听障用户的发音数据是以健全人发音数据的音色、文本及相似听障韵律合成的，其中，相似听障韵律为与所述健全人发音数据的韵律满足设定韵律相似度条件的听障用户的发音数据的韵律；

第一语音合成模型处理单元，用于获取所述目标听障用户的音色特征和韵律特征，对所述第一语音合成模型进行处理，处理后作为所述目标听障用户的个性化语音合成模型，所述处理包括：将其中所述韵律编码模块的编码特征固定为所述目标听障用户的韵律特征，将所述音色编码模块的编码特征固定为所述目标听障用户的音色特征。

第三方面，提供了一种听障用户语音合成设备，包括：存储器和处理器；

所述存储器，用于存储程序；