[发明专利]一种基于深度学习的裁判文书文本纠错方法及系统

说明书

本发明公开了一种基于深度学习的裁判文书文本纠错方法，包括以下步骤：将裁判文书文本中错误检测分为命名实体检测和文本错误检测；进行命名实体检测时，定义专有名词，并检测裁判文书文本中的专有名词得到命名实体检测结果；进行文本错误检测时，利用文本错误模型检测裁判文书文本得到文本错误检测结果；根据关联词条处理文本错误检测结果得到纠错候选集；根据命名实体检测结果和纠错候选集进行纠错。本发明还公开了一种基于深度学习的裁判文书文本纠错系统。本发明对裁判文书全文做实体识别，进行进一步检测以避免上下文不一致，并且避免了传统方法中过纠错和纠错不足的问题。

技术领域

本发明涉及自然语言文本处理技术，具体涉及一种基于深度学习的裁判文书文本纠错方法及系统。

背景技术

随着行业信息化建设的不断深入，大部分法院裁判文书都使用电子编辑，编辑过程中很容易造成文本编辑错误，包括但不限于：1、拼音拼写错误。2、字形相似导致错误。3、输入法提示导致错误。4、专业名次使用错误。5、多字错误。6、少字错误等常见错误类型。目前还没有专门针对裁判文书的文本纠错方法。目前其他领域文本纠错的主流方法均采用构建拼音音节、构建专业词典然后采用模糊匹配的方法纠错。这容易造成两个方面的问题，一是由于词典集太小，容易造成大部分错误不能准确找出，只能进行特定纠错；二是容易造成过度纠错，把本身正确的文本改成了错误的文本，这是由两方面造成的：1、模糊匹配，大量找到出的应该纠正的文本本身不存在错误。2、词典过大，包含的词太多，很容易命中原本没有错误的文本。

发明内容

本发明所要解决的技术问题是现有的法院裁判文书纠错技术中存在错误纠错不全或过度纠错，目的在于提供一种基于深度学习的裁判文书文本纠错方法及系统，解决上述问题。

本发明通过下述技术方案实现：

一种基于深度学习的裁判文书文本纠错方法，包括以下步骤：S1：将裁判文书文本中错误检测分为命名实体检测和文本错误检测；S2：进行命名实体检测时，定义专有名词，并检测裁判文书文本中的专有名词得到命名实体检测结果；S3：进行文本错误检测时，利用文本错误模型检测裁判文书文本得到文本错误检测结果，并根据纠错词典和裁判文书中上下文词条共现频率建立关联词条；根据关联词条处理文本错误检测结果得到纠错候选集；S4：根据命名实体检测结果和纠错候选集进行纠错。

本发明应用时，首先创造性的将裁判文书文本的错误分成了命名实体错误和文本错误（其他语言文字的错误）两类，这样可以有效降低过度纠错。对于命名实体错误，由于命名实体往往都是准确的可以确定的词汇，一般不存在同义词，所以检测后可以直接纠错，纠错可以通过自动纠错或提示人工进行纠错。对于文本错误，本发明采用错误检测模型的方式纠错，文本错误检测结果中的数据实际为存在错误的数据点，采用关联词条来生成纠错候选集的方式可以得到一批用于替换文本错误检测结果中的数据的词条，最终利用这些词条对可能存在错误的点纠错，可以提高纠错准确率和提高纠错效率。本发明对裁判文书全文做实体识别，进行进一步检测以避免上下文不一致，并且避免了传统方法中过纠错和纠错不足的问题。

进一步的，步骤S2包括以下子步骤：S21：定义专有名词，所述专有名词包括姓名，地名，机构名和/或法规法条；S22：标注裁判文书文本中的专有名词，以标注后的裁判文书文本为样本训练实体识别模型；S23：采用实体识别模型对裁判文书文本进行命名实体检测得到命名实体检测结果。

进一步的，步骤S3包括以下子步骤：按照句号分割裁判文书得到数据源；替换数据源中的词语；所述替换包括随机替换、同音字替换和/或形似字替换；标记替换内容得到替换数据源，利用替换数据源为样本训练，得到文本错误模型。

进一步的，步骤S3还包括以下子步骤：根据关联词条处理文本错误检测结果时，通过字音和/或字形得到纠错候选集。