[发明专利]一种智能化文本纠错模型训练方法

说明书

本发明公开了一种智能化文本纠错模型训练方法，包括以下步骤：S1、获取待纠错文本；S2、错误检测，对待纠错文本进行错误检测，所述错误检测包括基于规则的错误检测和基于模型的错误检测；S3、候选召回，对检测后的文本进行候选召回，通过语言模型和混淆词典来召回正确的候选词；S4、候选排序，通过排序算法对召回的候选词进行打分排序，选择分数最高的一项进行替换；S5、候选筛选，得到最优的纠正方案。该种智能化文本纠错模型训练方法，通过待纠错文本进行错误检测、候选召回和候选排序三个主要流程，有效提高了文本纠错的准确率。

技术领域

本发明涉及智能文本分析技术领域，具体为一种智能化文本纠错模型训练方法。

背景技术

文本纠错技术是实现中文语句自动检查、自动纠错的一项重要技术，其目的是提高语言正确性的同时减少人工校验成本。纠错模块作为自然语言处理最基础的模块，其重要程度不言而喻。在日常生活中，我们经常会在微信、微博等社交工具或公众号文章中发现许多错别字，同时随着各自社交网站的发展，语音对话在社交软件中在不断普及，为了使得接收语音方在不方便接收语音时，也能及时接收到对方发送的内容，因此语音对话也开始出现转文字的功能。但是由于语音对话较为口语化，在转文字过程中，容易出现错误句子，最终会导致接收方不明确对方的意图。

现有技术中为了实现文本纠错的功能，主要是通过利用基于规则的模型或基于统计的模型生成针对待纠正文本的多个候选文本，利用评分函数或者分类器对多个候选文本进行排序，从多个候选文本中筛选出最合理的文本。然而在基于规则的模型或者基于统计的模型进行文本纠错过程中，文本纠错的准确率较低，文本纠错效果并不能满足现阶段用户对文本纠错功能的需求，因此我们对此做出改进，提出一种智能化文本纠错模型训练方法。

发明内容

为了解决上述技术问题，本发明提供了如下的技术方案：

本发明一种智能化文本纠错模型训练方法，包括以下步骤：

S1、获取待纠错文本；

S2、错误检测，对待纠错文本进行错误检测，所述错误检测包括基于规则的错误检测和基于模型的错误检测；

S3、候选召回，对检测后的文本进行候选召回，通过语言模型和混淆词典来召回正确的候选词；

S4、候选排序，通过排序算法对召回的候选词进行打分排序，选择分数最高的一项进行替换；

S5、候选筛选，得到最优的纠正方案。

作为本发明的一种优选技术方案，S2中所述基于规则的错误检测包括拼音匹配检测和双向2gram检测；所述拼音匹配检测通过建立拼音到实体的映射字典，完成错词到拼音到实体的纠错流程；所述双向2gram检测是将语料中所有2gram的联合概率分布拟定为正态分布，通过正确2gram片段的出现概率远大于错误出现的概率来完成错误检测。

作为本发明的一种优选技术方案，S2中所述基于模型的错误检测包括基于nn语言错误检测和基于BiLstm改造的音字混合受限字表语言模型错误检测。

作为本发明的一种优选技术方案，所述基于nn语言错误检测是通过完形填空的方式来预测候选字的概率分布，若原字的概率不在topk里或与top1比值超过阈值，则认为有错；所述基于BiLstm改造的音字混合受限字表语言模型错误检测，是利用BiLstm，前向Lstm从左到右学习，后向Lstm从后到左学习，然后合并两个得到,得到先与输入的字向量做Attention得到,然后与拼接得到；再用与候选字向量做Attention，用Attention后的分数作为预测概率分布。

作为本发明的一种优选技术方案，S3中所述混淆词典包括基于近音、近型、编辑距离的1、2gram混淆词典，将1gram词及词频和1gram近音词词典使用双数组字典树存储，而2gram词典采用CSR数据结构存储，2gram的近音混淆词可以从以上词典里恢复出来。