[发明专利]文本纠错方法、系统、计算机设备及可读存储介质

说明书

本申请涉及一种文本纠错方法、系统、计算机设备和计算机可读存储介质，其中，该方法包括：数据获取步骤，用于获取待纠错文本数据；负样本构建步骤，用于创建一混淆字表并根据所述混淆字表将所述待纠错文本进行语料替换，生成负样本；文本纠错步骤，用于将所述待纠错文本数据及所述负样本数据作为训练数据，将所述训练数据的汉字特征和拼音特征分别经一Soft‑Masked BERT预训练模型训练后拼接为训练结果，将所述训练结果经一Softmax层计算交叉熵损失并得到纠错结果；模型优化步骤，用于通过递归预测及词表过滤对所述Soft‑Masked BERT预训练模型进行优化。通过本申请，有效提高文本纠错准确率，提升模型效果和性能。

技术领域

本申请涉及自然语言处理领域，特别是涉及文本纠错方法、系统、计算机设备和计算机可读存储介质。

背景技术

中文纠错技术是实现中文语句自动检查、自动纠错的一项重要技术，其目的是提高语言正确性的同时减少人工校验成本。中文纠错技术主要根据字形相似来纠错，是自然语言处理领域检测一段文字是否存在错别字、以及将错别字纠正过来的技术，一般用于文本预处理阶段，同时能显著缓解智能客服等场景下信息获得不准确的问题，例如某些智能问答场景中错别字会影响query理解及对话效果。在通用领域中，中文文本纠错问题是从互联网起始时就一直在寻求解决的问题。在搜索引擎中，一个好的纠错系统能够用户输入的查询词进行纠错提示，或直接展示正确答案。

现有技术中，通过以下几种工具实现文本纠错：(1)错别字词典，构建领域错别字词典；(2)编辑距离，编辑距离采用类似字符串模糊匹配的方法，通过对照正确样本可以纠正部分常见错别字和语病；(3)语言模型，语言模型可以以字或词为纠错粒度。近几年，预训练语言模型开始流行，研究者发现将BERT(Bidirectional Encoder Representationsfrom Transformers，简称BERT)类的模型迁移到了文本纠错中，利用BERT在候选列表中选择一个字符，以在句子的每个位置上进行纠正。

上述几种工具中，构建错别字词典的人工成本较高，仅适用于错别字有限的部分垂直领域；编辑距离的方式通用性不足；语言模型中由于“字粒度”的语义信息相对较弱，其误判率会高于“词粒度”的纠错；“词粒度”则较依赖于分词模型的准确率，为了降低误判率，往往在模型的输出层加入CRF层校对，通过学习转移概率和全局最优路径避免不合理的错别字输出。BERT方法过于粗暴，容易造成高误判率，其BERT的掩码位置是随机选择的，所以并不擅长侦测句子中出现错误的位置，并且BERT纠错未考虑约束条件，导致准确率低。

发明内容

本申请实施例提供了一种文本纠错方法、系统、计算机设备和计算机可读存储介质，结合使用文本的汉字特征和拼音特征，利用Soft-Masked BERT预训练模型进行训练，并结合递归预测及词表过滤对模型进行优化，提高纠错准确率，提升模型效果和性能。

第一方面，本申请实施例提供了一种文本纠错方法，包括：

数据获取步骤，用于获取待纠错文本数据；

负样本构建步骤，用于创建一混淆字表并根据所述混淆字表将所述待纠错文本进行语料替换，生成负样本，具体的，对所述待纠错文本中15％的字符进行随机替换，进一步的，15％被随机替换的字符中，有80％的字符使用所述混淆字表中同音字符进行替换，其余20％的字符使用随机字符进行替换。以这种方式构建样本数据再用于训练模型，能够让训练出的Soft-Masked BERT预训练模型获得较强的同音字混淆错误的纠正能力。