[发明专利]中文文本的分词方法及装置

说明书

技术领域

本发明涉及计算机领域，尤其涉及一种中文文本的分词方法及装置。

背景技术

中文分词指将一个汉字序列切分成一个一个单独的词。中文分词在信息检索、机器翻译和语音识别等领域起重要作用，是中文语音处理过程中必不可少的一个环节。一般地，由于存在分词歧义的问题，传统的基于词典的机械分词方法的准确度达不到100％。例如，“南京市长江大桥”可以分成“南京市长江大桥”，也可以分成“南京市长江大桥”。如果不依赖其他知识，两种分词方式似乎都是合理的

现有的分词技术依赖的词库是二维的，最多只有词性和简单的概率权重。在算法模型上，没联系上下文进行歧义识别处理。目前国内的词库的缩写词条是人工添加的，比较机械。

发明内容

本发明实施例的目的是提供一种中文文本的分词方法及装置，能有效解决现有词库较为简单不能有效分词的问题，准确性高。

为实现上述目的，本发明实施例提供了一种中文文本的分词方法，包括步骤：

采集具有多元语义的网络词库，根据不同领域对所述网络词库进行训练；

接收待分词文本，根据所述网络词库进行匹配处理后对所述待分词文本进行初始分词；

对所述待分词文本进行初始分词后，对所述待分词文本进行特征提取，从而获得所述待分词文本的领域特征；

根据所述待分词文本的领域特征，对所述待分词文本的词条进行权重调整从而获得第一分词结果；

将所述第一分词结果中的长词通过缩写模型进行简化处理获得缩写词，将所述缩写词与所述多元语义的网络词库进行匹配校验。

与现有技术相比，本发明公开的中文文本的分词方法通过采集具有多元语义的网络词库，根据不同领域对所述网络词库进行训练，然后接收待分词文本，根据所述网络词库进行匹配处理后对所述待分词文本进行初始分词，对所述待分词文本进行初始分词后，对所述待分词文本进行特征提取，从而获得所述待分词文本的领域特征，再根据所述待分词文本的领域特征，对所述待分词文本的词条进行权重调整从而获得第一分词结果，接着将所述第一分词结果中的长词通过缩写模型进行简化处理获得缩写词，将所述缩写词与所述多元语义的网络词库进行匹配校验，能有效解决现有词库较为简单不能有效分词的问题，能得到准确性更高的分词结果。

作为上述方案的改进，还包括步骤：

通过CRF模型，识别所述待分词文本的场景，根据所述待分词文本的场景对所述第一分词结果进行歧义识别，从而生成第二分词结果；

将所述第二分词结果中的长词通过缩写模型进行简化处理获得缩写词，将所述缩写词与所述多元语义的网络词库进行匹配校验。

作为上述方案的改进，采集具有多元语义的网络词库具体为：

收集通用词库、实体词库和领域预料进行融合后生成多元语义的网络词库。

本发明实施例还提供了一种中文文本的分词装置，包括：

采集模块，用于采集具有多元语义的网络词库，根据不同领域对所述网络词库进行训练；

初始分词模块，用于接收待分词文本，根据所述网络词库进行匹配处理后对所述待分词文本进行初始分词；

特征提取模块，用于对所述待分词文本进行初始分词后，对所述待分词文本进行特征提取，从而获得所述待分词文本的领域特征；

第一分词模块，用于根据所述待分词文本的领域特征，对所述待分词文本的词条进行权重调整从而获得第一分词结果；

第一缩写模块，用于将所述第一分词结果中的长词通过缩写模型进行简化处理获得缩写词，将所述缩写词与所述多元语义的网络词库进行匹配校验。

与现有技术相比，本发明公开的中文文本的分词装置通过采集具有多元语义的网络词库，根据不同领域对所述网络词库进行训练，然后接收待分词文本，根据所述网络词库进行匹配处理后对所述待分词文本进行初始分词，对所述待分词文本进行初始分词后，对所述待分词文本进行特征提取，从而获得所述待分词文本的领域特征，再根据所述待分词文本的领域特征，对所述待分词文本的词条进行权重调整从而获得第一分词结果，接着将所述第一分词结果中的长词通过缩写模型进行简化处理获得缩写词，将所述缩写词与所述多元语义的网络词库进行匹配校验，能有效解决现有词库较为简单不能有效分词的问题，能得到准确性更高的分词结果。

作为上述方案的改进，还包括：

第二分词模块，用于通过CRF模型，识别所述待分词文本的场景，根据所述待分词文本的场景对所述第一分词结果进行歧义识别，从而生成第二分词结果；