[发明专利]中文纠错模型的训练方法、中文纠错方法及装置

说明书

本发明实施例提供一种中文纠错模型的训练方法、中文纠错方法及装置，所述训练方法包括：基于第一训练数据集对初始模型进行预训练，得到第一预训练模型；基于第一训练数据集和第二训练数据集对第一预训练模型进行精调，得到中文纠错模型；第一训练数据集包括多个样本四元组，样本四元组是由中文语料、拼音序列、笔画序列以及图片序列四个元素组成的；第二训练数据集包括多个相似样本四元组，相似样本四元组是基于任一中文语料中的相似字对该中文语料中与其对应的字进行替换得到的。本发明实施例提供的中文纠错模型的训练方法、中文纠错方法及装置，提高了训练数据的生成效率和丰富性，使得训练出来的中文纠错模型纠错效果较好。

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种中文纠错模型 的训练方法、中文纠错方法及装置。

背景技术

中文纠错是自然语言处理中一项非常重要的课题，纠错模型将文 本潜在的语法错误自动找出并给予纠正，并保持纠正后的语义不变， 纠错模型不但可以提升文本的质量，还可以使程序中的下游模块更加 易于处理文本。

然而，纠错模型的构建面临着一些挑战，当前纠错模型的构建往 往参考了机器翻译的训练方法。机器翻译模型的输入是一种语言的原 文句子，输出则是另一种语言且语义保持的译文句子；类似地，语法 纠错模型的输入是语法可能错误的句子，输出则是语法正确且语义保 持不变的句子。不仅如此，机器翻译模型往往需要大量的双语平行语 料，语法纠错模型的构建中也需要许多包括语法可能错误的句子以及 语法正确的句子的平行语料对作为训练样本，而获取这些数据往往需 要高昂的人工打标签的成本费用。因此，如何在平行语料较为稀缺的 情况下训练出效果较好的模型，是智能纠错的第一个挑战。

此外，现有技术中对于智能纠错的方法主要集中在英文语言的研 究方向上，英文的语法错误主要包括介词，定冠词，单词拼写错误， 动词(例如，时态、第三人称加s等)，名词单复数，英文符号等方 面。而英文和中文的语法错误有着很大的差别，中文语法错误主要集 中在错别字的误用，因为拼音输入法和五笔输入法会分别导致相同或 相似音(例如，联连链等)和偏旁部首字形相似(例如，桅姽脆诡跪 等)的字和词的使用错误。因此，如何根据中文语言的特殊性构建纠 错模型是第二个需要解决的问题。

发明内容

本发明实施例提供一种中文纠错模型的训练方法、中文纠错方法 及装置，用以解决现有技术中人为标记成本高、纠错模型对中文的适 应性较差的缺陷。

本发明实施例提供一种中文纠错模型的训练方法，包括：

基于第一训练数据集对初始模型进行预训练，得到第一预训练模 型；

基于所述第一训练数据集和第二训练数据集对所述第一预训练 模型进行精调，得到中文纠错模型；

所述第一训练数据集包括多个样本四元组，所述样本四元组是由 中文语料、拼音序列、笔画序列以及图片序列四个元素组成的；所述 第二训练数据集包括多个相似样本四元组，所述相似样本四元组是基 于任一中文语料中的相似字对所述任一中文语料中与其对应的字进 行替换得到的。

根据本发明一个实施例的中文纠错模型的训练方法，所述基于所 述第一训练数据集和第二训练数据集对所述第一预训练模型进行精 调，得到中文纠错模型，包括：

基于所述第二训练数据集对所述第一预训练模型进行精调，得到 第二预训练模型；

基于第三训练数据集对所述第二预训练模型进行精调，得到所述 中文纠错模型，所述第三训练数据集是基于所述第一训练数据和所述 第二训练数据确定的。

根据本发明一个实施例的中文纠错模型的训练方法，所述第一训 练数据集包括错误样本四元组，所述错误样本四元组为包括错误拼音 序列、错误笔画序列和错误图片序列中至少一种的四元组；所述错误 样本四元组是通过对任一中文语料对应的拼音序列、笔画序列和图片 序列中的至少一种进行编辑得到的。