[发明专利]一种文本纠错方法和装置

说明书

本申请实施例提供了一种文本纠错方法和装置，所述方法包括：获取待纠错文本；确定所述待纠错文本中各个词语的文本特征信息；确定所述各个词语的错误概率；根据所述词语的错误概率，对所述词语设置拼音特征信息；基于纠错模型根据所述词语的文本特征信息和所述词语的拼音特征信息，对所述待纠错文本中错误的词语进行纠错，从而限定纠错模型对错误的词语的召回集，从而可以提高纠错模型的精度。

技术领域

本申请涉及自然语言处理技术领域，特别是涉及一种文本纠错方法和一种文本纠错装置。

背景技术

ASR(Automatic Speech Recognition，自动语音识别)是指把语音识别为文本的技术。由于语音直译的文本因用户口音、环境噪音、本身识别率的问题，会导致生成文本含有错误的字，使得句子难以理解，用户的体验不好，导致语音识别的结果难以正常的应用到下游任务中。

故需要使用自动纠错技术对语音识别结果进行机器自动纠错，自动纠正错误的词或字，让语音识别的句子更易读懂。

发明内容

鉴于上述问题，提出了本申请实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种文本纠错方法和相应的一种文本纠错装置。

为了解决上述问题，本申请实施例公开了一种文本纠错方法，包括：

获取待纠错文本；

确定所述待纠错文本中各个词语的文本特征信息；

确定所述各个词语的错误概率；

根据所述词语的错误概率，对所述词语设置拼音特征信息；

基于纠错模型根据所述词语的文本特征信息和所述词语的拼音特征信息，对所述待纠错文本中错误的词语进行纠错。

可选地，所述根据所述词语的错误概率，对所述词语设置拼音特征信息，包括：

确定所述各个词语对应的拼音特征向量，以及针对所述各个词语生成对应的拼音掩码向量；

将所述词语对应的拼音特征向量乘以错误概率P，将所述拼音掩码向量乘以(1-P)，相加得到所述词语的目标拼音向量，其中所述P的取值范围为0-100％。

可选地，所述确定所述待纠错文本中各个词语的文本特征信息，包括：

确定所述待纠错文本中各个词语的文本特征向量，以及针对所述各个词语生成对应的文本掩码向量；

将所述词语的文本特征向量乘以(1-P)，将所述文本掩码向量乘以P，相加得到所述词语的目标文本向量。

可选地，所述基于纠错模型根据所述词语的文本特征信息和所述词语的拼音特征信息，对所述待纠错文本中错误的词语基于对应的拼音进行纠错，包括：

基于纠错模型根据所述各个词语的目标文本向量和目标拼音向量，对所述待纠错文本中错误的词语基于对应的拼音进行纠错。

可选地，所述确定所述各个词语的错误概率，包括：

基于检错模型根据所述各个词语的文本特征向量，确定所述各个词语的错误概率。

可选地，所述检错模型和所述纠错模型通过如下方式训练得到：

获取纠错语料训练文本；所述纠错语料训练文本包括错误文本和纠正文本；

确定所述错误文本对应的文本特征向量和所述错误文本的各个字对应的检错标签；

将所述错误文本对应的文本特征向量和所述错误文本的各个字对应的检错标签作为所述检错模型的输入，以及将所述错误文本的各个字发生错误的概率作为输出；