[发明专利]分词词典的生成方法和装置及分词处理方法和装置

说明书

技术领域

本发明涉及语音处理技术领域，尤其涉及一种分词词典的生成方法和装置及分词处理方法和装置。

背景技术

语音合成，又称文语转换(Text to Speech)，能将文字信息实时转换为语音朗读出来，相当于给机器装上了人工嘴巴。对于语音合成系统，首先需要对输入的文本进行处理，其中包括分词处理。分词算法主要有两类，一种是基于词典匹配的算法，另一种是基于训练语料的学习算法。词典和训练语料分别是基于词典的匹配算法和基于训练语料的学习算法所必须的数据。

现有技术中，不管是词典生成还是语料生成，都必须依靠人工筛选和分词器切分，因此更新周期长且过于依赖已有分词器，无法识别未登录的词条或者语料。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种分词词典的生成方法，该方法可以不依赖人工筛选和分词器，可以识别未登录的词条，从而提高分词词典的生成速度和效果。

本发明的另一个目的在于提出一种分词处理方法，该方法可以结合基于词典匹配的算法和基于训练语料的学习算法的优点，从而提高分词效果。

本发明的另一个目的在于提出一种分词词典的生成装置。

本发明的另一个目的在于提出一种分词处理装置。

为达到上述目的，本发明第一方面实施例提出的分词词典的生成方法，包括：获取原始句语料；对所述原始句语料进行切分，得到分词，并对所述分词进行过滤，得到过滤结果，所述过滤包括如下项中的至少一项：基于词频和逆频率的过滤，基于边界的过滤，基于拼接的过滤；根据所述过滤结果生成分词词典。

本发明第一方面实施例提出的分词词典的生成方法，通过对切分后的分词进行过滤，生成分词词典，可以不依赖人工筛选和分词器，可以识别未登录的词条，从而提高分词词典的生成速度和效果。

为达到上述目的，本发明第二方面实施例提出的分词处理方法，包括：将待切分的原始文本，采用预先获取的分词词典，进行基于词典的匹配，将所述原始文本切分为分词；根据所述分词和预先获取的训练模型，进行基于训练语料的学习，得到分词结果；其中，所述分词词典采用如本发明第一方面实施例所述的方法生成。

本发明第二方面实施例提出的分词处理方法，在分词处理后，可以结合基于词典的匹配算法和基于训练语料的学习算法，因此可以结合这两种算法的优点，在分词时不仅可以参考词典的词条，还可以参考上下文信息，提高分词处理的效果。

为达到上述目的，本发明第三方面实施例提出的分词词典的生成装置，包括：获取模块，用于获取原始句语料；过滤模块，用于对所述原始句语料进行切分，得到分词，并对所述分词进行过滤，得到过滤结果，所述过滤包括如下项中的至少一项：基于词频和逆频率的过滤，基于边界的过滤，基于拼接的过滤；生成模块，用于根据所述过滤结果生成分词词典。

本发明第三方面实施例提出的分词词典的生成装置，通过对切分后的分词进行过滤，生成分词词典，可以不依赖人工筛选和分词器，可以识别未登录的词条，从而提高分词词典的生成速度和效果。

为达到上述目的，本发明第四方面实施例提出的分词处理装置，包括：第一切分模块，用于将待切分的原始文本，采用预先获取的分词词典，进行基于词典的匹配，将所述原始文本切分为分词；第二切分模块，用于根据所述分词和预先获取的训练模型，进行基于训练语料的学习，得到分词结果；其中，所述分词词典采用如本发明第一方面实施例所述的方法生成。

本发明第四方面实施例提出的分词处理装置，在分词处理后，可以结合基于词典的匹配算法和基于训练语料的学习算法，因此可以结合这两种算法的优点，在分词时不仅可以参考词典的词条，还可以参考上下文信息，提高分词处理的效果。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明一实施例提出的分词词典的生成方法的流程示意图；

图2是本发明实施例中第一次过滤处理的流程示意图；

图3是本发明实施例中第二次过滤处理的流程示意图；

图4是本发明实施例中第三次过滤处理的流程示意图；

图5是本发明另一实施例提出的分词处理方法的流程示意图；

图6是本发明实施例中训练流程和预测流程的示意图；

图7是本发明另一实施例提出的分词词典的生成装置的结构示意图；