[发明专利]一种基于拼音相同或相似的中文文本纠错方法

说明书

本发明提出一种基于拼音相同或相似的中文文本纠错方法，包括以下步骤：S1，在传统ngrams语言模型基础上做调整，建立粒度为单个中文字符的中文字结构语言模型；S2，对待纠错语句进行候选处理，生成候选序列；S3，基于混淆集和MAD算法对候选序列进行检错，获得待纠错语句候选序列；S4，基于中文字结构语言模型的最大后验概率，使用双选Viterbi算法解码输出纠错结果。本发明相对于传统方法词粒度准确率较高，纠错速度较传统方法快。

技术领域

本发明涉及文本纠错技术领域，尤其是涉及一种基于拼音相同或相似的中文文本纠错方法。

背景技术

文本纠错适用很多领域，如人工打字辅助：可在用户输入后自动检查并提示错别字情况。从而降低因疏忽导致的错误表述，有效提升用户输入效率和质量；搜索纠错领域：针对电商、搜索引擎等搜索接口，用户经常在搜索时输入错误，通过分析搜索项的形式和特征，可自动纠正搜索项并提示用户，进而给出更符合用户需求的搜索结果，有效屏蔽错别字对用户真实需求的影响；语音识别或机器人对话领域：将文本纠错嵌入对话系统中，可自动修正语音识别转文本过程中的错别字，向对话理解系统传递纠错后的正确语句，明显提高语音识别准确率，使产品整体体验更佳。现有技术中，对于音似词替换错误，需要进行查错和纠错处理。通常是基于混淆集进行查错和纠错，并对需要修改的范围逐字改正，而混淆集的建立需要花费大量时间和人工进行维护，成本高且使用不便。现有基于统计方法的纠错语言模型往往基于词粒度，即以词语为分析单位，通过考察词与词之间的关系，来进行纠错。但是纠错分字粒度、词粒度纠错，传统方法字粒度准确率较低，需要换个思路重新建模。

发明内容

针对混淆集的建立需要花费大量时间和人工进行维护，成本高且使用不便以及传统方法字粒度准确率较低的问题，本发明提出了一种基于拼音相同或相似的中文文本纠错方法，建立粒度为单个中文字符的中文字结构语言模型，利用混淆集和MAD算法对候选序列进行检错，并使用双选Viterbi算法解码输出纠错结果。

为实现上述目的，本发明提供以下的技术方案：

一种基于拼音相同或相似的中文文本纠错方法，包括以下步骤：

S1，在传统ngrams语言模型基础上做调整，建立粒度为单个中文字符的中文字结构语言模型；

S2，对待纠错语句进行候选处理，生成候选序列；

S3，基于混淆集和MAD算法对候选序列进行检错，获得待纠错语句候选序列；

S4，基于中文字结构语言模型的最大后验概率，使用双选Viterbi算法解码输出纠错结果。

建立粒度为单个中文字符的中文字结构语言模型，基于字粒度，即以单个字为分析单位，通过考察字与字之间的关系，来进行纠错，相对于传统方法词粒度准确率较高。基于混淆集和MAD算法对候选序列进行检错，前期准备工作需求人力较少，只需垂直领域文本语料即可，不需要花费大量时间和人工进行维护，成本低且使用方便。使用双选Viterbi算法解码输出纠错结果，最大可能筛选最大概率路径纠错速度较传统方法快而且准确。

作为优选，所述步骤S1具体包括：

S101，语料预处理并生成分词文件；

S102，分词文件转换成拼音词组，再将拼音词组拆成字结构，所有字结构组成字结构文本；

S103，使用最终转换成字结构的文本生成粒度为单个中文字符的中文字结构语言模型。

建立粒度为单个中文字符的中文字结构语言模型，基于字粒度，即以单个字为分析单位，通过考察字与字之间的关系，来进行纠错，相对于传统方法词粒度准确率较高。

作为优选，所述步骤S1具体包括：