[发明专利]一种文本纠错方法和装置

权利要求书

1.一种文本纠错方法，其特征在于，包括：

获取待纠错文本；

确定所述待纠错文本中各个词语的文本特征信息；

确定所述各个词语的错误概率；

根据所述词语的错误概率，对所述词语设置拼音特征信息；

基于纠错模型根据所述词语的文本特征信息和所述词语的拼音特征信息，对所述待纠错文本中错误的词语进行纠错。

2.根据权利要求1所述的方法，其特征在于，所述根据所述词语的错误概率，对所述词语设置拼音特征信息，包括：

确定所述各个词语对应的拼音特征向量，以及针对所述各个词语生成对应的拼音掩码向量；

将所述词语对应的拼音特征向量乘以错误概率P，将所述拼音掩码向量乘以(1-P)，相加得到所述词语的目标拼音向量，其中所述P的取值范围为0-100％。

3.根据权利要求2所述的方法，其特征在于，所述确定所述待纠错文本中各个词语的文本特征信息，包括：

确定所述待纠错文本中各个词语的文本特征向量，以及针对所述各个词语生成对应的文本掩码向量；

将所述词语的文本特征向量乘以(1-P)，将所述文本掩码向量乘以P，相加得到所述词语的目标文本向量。

4.根据权利要求3所述的方法，其特征在于，所述基于纠错模型根据所述词语的文本特征信息和所述词语的拼音特征信息，对所述待纠错文本中错误的词语基于对应的拼音进行纠错，包括：

基于纠错模型根据所述各个词语的目标文本向量和目标拼音向量，对所述待纠错文本中错误的词语基于对应的拼音进行纠错。

5.根据权利要求3所述的方法，其特征在于，所述确定所述各个词语的错误概率，包括：

基于检错模型根据所述各个词语的文本特征向量，确定所述各个词语的错误概率。

6.根据权利要求4所述的方法，其特征在于，所述检错模型和所述纠错模型通过如下方式训练得到：

获取纠错语料训练文本；所述纠错语料训练文本包括错误文本和纠正文本；

确定所述错误文本对应的文本特征向量和所述错误文本的各个字对应的检错标签；

将所述错误文本对应的文本特征向量和所述错误文本的各个字对应的检错标签作为所述检错模型的输入，以及将所述错误文本的各个字发生错误的概率作为输出；

确定所述错误文本的文本特征向量、所述纠正文本的各个字对应的纠错标签和所述错误文本对应的目标拼音向量；

将所述错误文本的文本特征向量、所述纠正文本的各个字对应的纠错标签、所述错误文本的各个字发生错误的概率和所述错误文本对应的目标拼音向量作为输入，以及将所述错误文本的每个字对应的纠正词的概率作为输出；

根据所述检错模型的损失函数和所述纠错模型的损失函数，对所述检错模型和所述纠错模型进行联合训练。

7.一种文本纠错装置，其特征在于，包括：

文本获取模块，用于获取待纠错文本；

文本特征确定模块，用于确定所述待纠错文本中各个词语的文本特征信息；

概率确定模块，用于确定所述各个词语的错误概率；

拼音特征设置模块，用于根据所述词语的错误概率，对所述词语设置拼音特征信息；

纠错模块，用于基于纠错模型根据所述词语的文本特征信息和所述词语的拼音特征信息，对所述待纠错文本中错误的词语基于对应的拼音进行纠错。

8.根据权利要求7所述的装置，其特征在于，所述拼音特征设置模块包括：

第一拼音向量确定子模块，用于确定所述各个词语对应的拼音特征向量，以及针对所述各个词语生成对应的拼音掩码向量；

第二拼音向量确定子模块，用于将所述词语对应的拼音特征向量乘以错误概率P，将所述拼音掩码向量乘以(1-P)，相加得到所述词语的目标拼音向量，其中所述P的取值范围为0-100％。