[发明专利]语音合成方法、装置和系统

说明书

技术领域

本发明一般地涉及语音合成领域，特别地涉及一种基于本地终端和远端服务器的分布式语音合成方法和系统，以及关联的终端和服务器。

背景技术

实现人机之间人性化，智能化的有效交互，构建高效自然的人机交流环境，已经成为当前信息技术应用和发展的迫切需求。作为语音技术中十分实用的一项重要技术，语音合成技术将文字信息转化为自然的语音信号，实现任意文本的实时转换，改变了传统通过录音回放实现机器开口说话的繁琐操作，而且节省了系统存储空间，在信息交互日益增多的当今特别是在信息内容需要经常变动的动态查询应用方面发挥了越来越重要的作用。

计算机技术和数字信号处理技术的发展促进了语音合成技术的发展和实际应用。在Zhi-Wei Shuang，Yu Hu，Zhen-Hua Ling和Ren-Hua Wang的论文“A miniature Chinese TTS system based on tailored corpus，”in Proc.of ICSLP，pp.2389-2392，2002；以及Zhen-Hua Ling，Yu Hu，Zhi-Wei Shuang和Ren-Hua Wang的论文“Compression of speech database by feature separation and pattern clustering using STRAIGHT，”in Proc.of Interspeech，pp.766-769，2004中，公开了嵌入式系统上采用基于语音单元拼接方法实现的系统。在此，通过引用并入其全部内容。

基于波形拼接的合成方法以大幅度提高的合成语音的音质、音色和自然度受到了越来越多的重视。基于波形拼接的合成系统首先用一个音库存放取自真实语音的语音单元波形，具体的语音单元可以按实际需要选择为帧、音素、音节、词、短语等，随后在合成时由合成算法指导挑选合适的语音片断单元拼接生成连续的语音信号。基于波形拼接的合成系统的合成效果主要受音库规模及语音单元覆盖面的影响。在高速运算和大存储量得到更好解决的当今，服务器通常具有超大规模音库，使得语音合成系统可以通过直接挑选语音单元拼接直接合成连续语音，在保持原始语音的音质的同时较大的改善了合成语音不连续的现象。

然而，服务器端基于波形拼接的语音合成在提高合成音质的同时，也导致了语音信号传输数据量的急剧增大。在目前日益普及的互联网应用环境下，将远程服务器端合成的语音信号通过网络传输的方式存在较大的不便，容易受到网络传输条件的制约进而影响合成系统的性能。

网络传输的快慢及稳定度直接影响了合成系统的响应时间。在网络信号较好时数据可以较快传输，因而用户可以很快得到系统反馈；反之则需要较长时间的等待，特别是在网络不通畅时系统甚至没有响应。这给用户带来糟糕的应用体验。此外，语音信号传输也导致网络数据使用量急剧增大，给用户带来经济上的损失。

因此，需要一种减少网络数据传输量的改进的语音合成方法和系统。

发明内容

为了实现上述目的，本发明的实施例提出了一种新的基于本地终端及远端服务器的双平台的分布式语音合成系统和方法。

该系统在网络连接不畅或不稳定时自动选择本地端的语音合成基准系统进行本地化合成，以避免用户的过度等待；反之则转入服务器端，依托服务器端的超大规模音库实现更高自然度的语音合成。

特别地，本发明还提出，在运行过程中终端持续接收服务器端传送的语音单元，不断扩大本地端音库规模，提高本地端合成系统的本地化合成性能。

特别地，不同于传统的基于音质优化的合成算法，本发明还提出服务器端合成系统可以基于多目标优化的准则，通过平衡合成音质和系统响应时间，实现远程合成系统的响应时间可控。具体地，可以在服务器端合成时，在多目标优化函数指导下挑选可以同时满足数据传输时间要求及合成音质要求的语音单元实现文本到语音的有效转换。

根据本发明的一个方面，提供了一种在终端处根据文本生成语音的方法，包括：获取终端与服务器之间的网络传输条件；以及在网络传输条件满足服务器远端合成所需的传输条件时，执行服务器远端合成，否则执行终端本地合成。

根据本发明的另一方面，提供了一种在服务器处根据文本生成语音的方法，包括：根据网络传输条件，基于服务器音库确定文本对应的语音单元序列，实现基于语音合成音质和系统响应速度的多目标优化；以及向终端传输所确定的文本对应的语音单元序列的索引序列以及终端音库缺少的语音单元及其索引。