[发明专利]分词方法和装置

说明书

技术领域

本发明涉及互联网技术领域，尤其涉及一种分词方法和装置。

背景技术

语音合成，又称文语转换(Text to Speech)技术，能将任意文字信息实时转化为标准流畅的语音朗读出来，相当于给机器装上了人工嘴巴。对于语音合成系统，首先需要对输入的文本进行处理，包括文本预处理、分词、词性标注、注音和韵律层级预测等，然后再通过声学模型，预测各个单元对应的声学特征，最后利用声学参数直接通过声码器合成声音，或者从录音语料库中挑选单元进行拼接。

在语音合成系统中，分词是整个系统的基础。分词性能的好坏，直接影响后续处理模块及最终的输出语音效果。现有的分词算法主要有两种，一种是基于词典匹配的分词方法，另一种是基于机器学习的分词方法。

但是，基于词典匹配的分词方法，由于词典的规模有限，而且词频信息受到所用的统计语料规模的限制和影响，可能覆盖不够全面，或者语料不够均衡，在处理文本的时候，还是有很多不准确的情况，尤其是面对一些在海量语料统计中不常见的词语时，比如人名、地名、专属名等，往往导致投入了很多精力，结果却不尽理想。

而基于机器学习的分词方法，需要非常大量的标注数据，标注数据的数量、精度，也会对模型有很大影响。而且，由于不需要分词的词典，往往会出现一些非常不可接受的分词错误，造成分词结果不够稳定，用户体验较差。

综上所述，现有的分词方法在分词过程中，并不考虑当前文本的整体情况，只是逐句进行处理，所以难以利用更多的待处理文本信息，使得分词结果不准确，或者造成同一个词语(如人名、地名或专属名等)在不同的句子中切分差异很大。体现在语音合成系统中，往往让听者产生理解困难，舒适度严重下降，用户体验也较差。

发明内容

本发明的目的旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的第一个目的在于提出一种分词方法。该方法，首先利用待合成文本进行搜索，获取更加匹配的分词词典或者模型，从而可以改善分词效果，进而可以改善合成语音的质量。

本发明的第二个目的在于提出一种分词装置。

为了实现上述目的，本发明第一方面实施例的分词方法，包括：将待合成文本发送给搜索引擎，以及对所述待合成文本进行文本预处理；获得搜索引擎根据所述待合成文本搜索获得的搜索结果，并获得所述搜索结果对应的词典或模型；根据所述搜索结果对应的词典或模型对进行文本预处理后的文本进行分词。

本发明实施例的分词方法，将待合成文本发送给搜索引擎，获得待合成文本对应的搜索结果，然后获得上述搜索结果对应的词典或模型，从而可以动态更新语音合成系统所需的词典或者模型，可以提升语音合成效果。并且由于待合成文本中包含了上述待合成文本所属领域的部分信息，通过搜索引擎的搜索功能，进一步得到了关于上述待合成文本的更全面的领域信息和资源，从而可以从大量的相关信息中获得了更大的信息量，远远超过只用很少的待合成文本自身所获得的信息量，因此获得的词典或者模型的准确度更高，分词效果更好。并且利用搜索引擎的搜索能力，使得分词所需的分词词典或者模型，可以及时动态更新，大大改善了词典或者模型的时效性，对于处理新的词语、热点人物或事件等，有非常好的效果。

为了实现上述目的，本发明第二方面实施例的分词装置，包括：发送模块，用于将待合成文本发送给搜索引擎；文本预处理模块，用于对所述待合成文本进行文本预处理；获得模块，用于获得搜索引擎根据所述待合成文本搜索获得的搜索结果，并获得所述搜索结果对应的词典或模型；分词模块，用于根据所述获得模块获得的所述搜索结果对应的词典或模型对所述文本预处理模块进行文本预处理后的文本进行分词。

本发明实施例的分词装置，发送模块将待合成文本发送给搜索引擎，获得模块获得待合成文本对应的搜索结果，然后获得上述搜索结果对应的词典或模型，从而可以动态更新语音合成系统所需的词典或者模型，可以提升语音合成效果。并且由于待合成文本中包含了上述待合成文本所属领域的部分信息，通过搜索引擎的搜索功能，进一步得到了关于上述待合成文本的更全面的领域信息和资源，从而可以从大量的相关信息中获得了更大的信息量，远远超过只用很少的待合成文本自身所获得的信息量，因此获得的词典或者模型的准确度更高，分词效果更好。并且利用搜索引擎的搜索能力，使得分词所需的分词词典或者模型，可以及时动态更新，大大改善了词典或者模型的时效性，对于处理新的词语、热点人物或事件等，有非常好的效果。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。