[发明专利]一种基于bert的字音混合纠错模型

说明书

本发明提供了一种基于bert的字音混合纠错模型，包括检测网络；检测网络后级有纠错网络，纠错网络采用BERT模型；检测网络指出可能存在错误的字符，纠错网络对可能存在错误的字符进行校正。本发明能够有效对字符所组成语句中的错别字进行纠正，且便于用于工业界的语法纠错、词性标注等任务中，准确率高、通用性强。

技术领域

本发明涉及一种基于bert的字音混合纠错模型。

背景技术

随着信息化建设的不断推进，各级业务部门产生了大量电子公文文档，公文作为企业生产经营的信息资源，公文的文风和质量，反映着企业的工作作风和管理水平。但是在公文写作过程中，由于写作者习惯于连拼输入或者手写输入法易出错等原因，导致错误串在输入文本中占比高达10％-15％。目前，依靠人工纠错文本不但费时费力，还可能导致二次错误。因此，提供实时的无处不在纠错功能，可以最大限度的从源头上切实加强公文内容的质量管理。

BERT作为自然语言表示模型被应用到许多语言理解任务，业界把BERT类的模型迁移到了文本纠错中，并取得了新的最优效果。在公文短文本中，任何汉字的句法和语义解释都高度依赖上下文，而BERT模型拥有很强语言理解的能力。但是由于Bert采用掩码语言模型进行预训练，并且在掩码的时候不再考虑掩码位置的信息，而在实际中文输入过程中，主要拼写错误都是音同或者音似错误，错误位置的拼音信息是非常重要的，因此目前的BERT模型对于纠错任务的效果较差，难以实现工业界可用的标准。

发明内容

为解决上述技术问题，本发明提供了一种基于bert的字音混合纠错模型，该基于bert的字音混合纠错模型能够有效对字符所组成语句中的错别字进行纠正，且便于用于工业界的语法纠错、词性标注等任务中，准确率高、通用性强。

本发明通过以下技术方案得以实现。

本发明提供的一种基于bert的字音混合纠错模型，包括检测网络；检测网络后级有纠错网络，纠错网络采用BERT模型；检测网络指出可能存在错误的字符，纠错网络对可能存在错误的字符进行校正。

所述纠错网络为序列多标注模型。

所述纠错网络还接受原始输入作为输入，且该原始输入和检测网络的输出一一对应。

所述检测网络采用双向循环神经网络模型BiLSTM。

所述检测网络的输入字符数和纠错网络的输出字符数一致。

所述纠错网络后接一前馈网络。

所述检测网络的输出为每个字符存在错误的概率值。

所述纠错网络由十二个相同的块堆叠组成，每个块包含多头及注意力机制。

本发明的有益效果在于：能够有效对字符所组成语句中的错别字进行纠正，且便于用于工业界的语法纠错、词性标注等任务中，准确率高、通用性强。

附图说明

图1是本发明的模型示意图。

具体实施方式

下面进一步描述本发明的技术方案，但要求保护的范围并不局限于所述。

如图1所示的一种基于bert的字音混合纠错模型，包括检测网络；检测网络后级有纠错网络，纠错网络采用BERT模型；检测网络指出可能存在错误的字符，纠错网络对可能存在错误的字符进行校正。

纠错网络为序列多标注模型。

纠错网络还接受原始输入作为输入，且该原始输入和检测网络的输出一一对应。

检测网络采用双向循环神经网络模型BiLSTM。

检测网络的输入字符数和纠错网络的输出字符数一致。