[发明专利]一种ARM侧离线语音合成的方法、装置及存储介质

说明书

本发明提供的一种ARM侧离线语音合成的方法、装置及存储介质，涉及语音合成技术领域。本发明通过对ARM侧设备部署音素序列生成器、音素—时间标签序列生成器、声学特征生成器和声码器来进行离线语音合成，通过对ARM侧设备部署的各生成器进行进行Python toc/c++porting重编译和对Tensorflow平台的32位float型模型浮点参数进行量化压缩，使ARM侧设备能够快速进行离线语音合成且达到节省ARM侧设备所需部署空间、降低ARM侧设备运算要求的目的；通过通过将MelGAN模型作为神经网络声码模型，达到了提升训练速率，在没有额外的蒸馏和感知损失的引入下仍能产生高质量的语音合成模型；将Fastspeech 2模型神经网络声学特征生成模型能达到升模型训练速率和增加了数据的丰富度避免过多的信息损失的目的。

技术领域

本发明涉及语音合成技术领域，尤其涉及一种ARM侧离线语音合成的方法、装置及存储介质。

背景技术

语音合成(Text To Speech,TTS)即“从文本到语音”，是人机对话的一部分，其目的是让机器能够将文本输出转化为自然的语音输出。

语音合成同时运用了语言学和机器学习，通过神经网络的设计，把文字智能地转化为自然语音流。TTS技术对文本文件进行实时转换，转换时间之短可以秒计算，文本输出的语音音律流畅，使得听者在听取信息时感觉自然，毫无机器语音输出的冷漠与生涩感。TTS是语音合成应用的一种，它将储存于电脑中的文件，如帮助文件或者网页，转换成自然语音输出。TTS不仅能帮助有视觉障碍的人阅读计算机上的信息，更能增加文本文档的可读性。TTS应用包括语音驱动的邮件以及声音敏感系统，并常与声音识别程序一起使用。

现有的语音合成方法通常是基于前后端的语音合成系统，申请号为：CN201210093481.6发明申请提出了一种语音合成方法及系统，所述方法包括：对输入文本进行文本分析和语言分析，生成包含相应语音单元的前端脚本，获取和校验所述前端脚本，修正所述前端脚本；以及获取所述修正后的前端脚本并合成修正语音，本发明能够纠正前端脚本的错误如分词错误和多音字注音错误，从而提高合成语音的易理解性和用户的可接受程度，弥补传统TTS对韵律的预测准确度不足的缺点，提高了合成语音的自然度和表现力。

但是该发明申请提出的语音合成方法及系统依赖于建立前后端网络联系，后端也需要建立强大的服务器集群才能满足实际运用的网络负载量，且在脱离网络时便无法正常使用，其局限性较大，无法运用到无网络或者网络较差环境中。

申请号为CN201911174434.2的发明申请公开了一种分布式语音合成方法，旨在将传统TTS系统一般处理流程中的各个处理环节按先后顺序划分为前后两个部分，所述的前端处理环节和语音合成后端处理环节之间通过数据交换标准和协议标准进行通信，共同完成整个TTS处理过程，为在资源敏感的移动终端设备上合成出与PC上大型TTS系统相同自然度的自然语音，尽可能地利用自身的空闲资源，以最大化的释放网络和服务器的负载，使得其它用户可以方便地接入。

该发明申请缓解了设备的网络压力，云端服务器的负载也相应降低，能在网络较差环境下进行很好的工作，但是其原理还是基于前后端的语音合成的方法，在无网络的情况下便无法进行很好的运用推广。

现有阶段，对于语音合成需求最高的场景便是ARM侧设备场景，由于ARM侧设备便于携带，故可以结合TTS组合成智能翻译，智能导航，智能助手，智能变声等功能进行使用，而ARM侧设备很多场景下是无网络跟随的，故基于前后端的语音合成不能完全满足ARM侧设备的运用场景。

因此，我们有必要提出一种ARM侧离线语音合成的方法来解决上述问题。

发明内容