[发明专利]一种中文拼写纠错方法、装置、计算机设备及存储介质

说明书

本发明公开了一种中文拼写纠错方法、装置、计算机设备及存储介质，涉及人工智能领域，方法包括：将出错概率超过预设出错概率阈值的字判定为错别字；使用自然语言处理技术对遮罩位置进行预测，得到候选字集合；从混淆集中选择形近音近字添加到所述候选字集合中，依据形近分数与音近分数对候选字集合进行过滤；构建替换概率的有向图网络，使用图神经网络对有向图网络进行迭代学习，得到最优的替换概率图；基于所述形近分数、音近分数及替换概率图进行多轮排序，并在每轮排序时对所述候选字集合进行筛选，使用最终保留的候选字替换对应的错别字。本发明对中文句子进行检错和纠错，对候选字结果进行评估与排序，纠错结果更加稳定和准确。

技术领域

本发明涉及人工智能技术领域，特别涉及一种中文拼写纠错方法、装置、计算机设备及存储介质。

背景技术

中文拼写纠错是广泛应用在语音合成的前端中的一项技术，其目的是将文本中拼写有误的地方检测出来并根据上下文信息改正。由于汉字之间没有分隔符且中文字符数量众多(超过13000个)，中文的拼写纠错相比其他语言的拼写纠错更具有挑战性。

现有的中文拼写纠错方法大多基于使用人工定义的规则或者深度学习的方法，但是人工定义规则需要语言学专家的参与，规则制定过程繁杂且可扩展性不高。基于深度学习的方法因模型复杂，可复用性较差等原因未投入生产环境使用。上述方法都将纠错作为分类任务处理，未考虑候选字的特征，导致纠错准确性较差。

发明内容

本发明的目的是提供一种中文拼写纠错方法、装置、计算机设备及存储介质，旨在解决现有中文拼写纠错方法准确性较差的问题。

第一方面，本发明实施例提供一种中文拼写纠错方法，其包括：

将含有中文拼写错误的句子样本添加至样本集中，并将错误检测作为序列标注任务，对所述样本集中的每一个句子样本预测每一个字的出错概率，并将出错概率超过预设出错概率阈值的字判定为错别字；

使用标识符对所述错别字进行遮罩，并使用自然语言处理技术对遮罩位置进行预测，得到每个所述遮罩位置对应的候选字集合；

对于每一个所述候选字集合中的每一个候选字，从混淆集中选择形近音近字添加到对应的所述候选字集合中，并分别基于汉字的笔画构成与拼音构成，计算所述候选字集合中的所有候选字与对应的所述错别字的形近分数与音近分数，依据所述形近分数与音近分数对所述候选字集合进行过滤；

将所述候选字集合中的每一个候选字与对应的所述错别字作为节点、所述错别字与所述每一个候选字之间的替换概率作为边权值，构建替换概率的有向图网络，使用图神经网络对所述有向图网络进行迭代学习，得到最优的替换概率图；

基于所述形近分数、音近分数及替换概率图进行多轮排序，并在每轮排序时对所述候选字集合进行筛选，使用最终保留的候选字替换对应的错别字。

第二方面，本发明实施例提供一种中文拼写纠错装置，其包括：

错别字判断单元，用于将含有中文拼写错误的句子样本添加至样本集中，并将错误检测作为序列标注任务，对所述样本集中的每一个句子样本预测每一个字的出错概率，并将出错概率超过预设出错概率阈值的字判定为错别字；

遮罩预测单元，用于使用标识符对所述错别字进行遮罩，并使用自然语言处理技术对遮罩位置进行预测，得到每个所述遮罩位置对应的候选字集合；

候选字过滤单元，用于对于每一个所述候选字集合中的每一个候选字，从混淆集中选择形近音近字添加到对应的所述候选字集合中，并分别基于汉字的笔画构成与拼音构成，计算所述候选字集合中的所有候选字与对应的所述错别字的形近分数与音近分数，依据所述形近分数与音近分数对所述候选字集合进行过滤；