[发明专利]一种中文文本中含有多个相同错词纠正的方法及系统

权利要求书

1.一种中文文本中含有多个相同错词纠正的方法，其特征在于，应用于存在多个相同错词的中文文本中，所述方法包括：

基于语句查找出相同错词，用预设标记替代所述相同错词，生成预设语句；

初始设定类ppl的得分值和预设顺序值均为0；

判断所述预设顺序值是否不小于所述预设语句长度，若是则输出当前类ppl的总得分值；

若否则进入循环判定，满足预设条件则累加类ppl的得分值并将所述预设顺序值加1，不满足则直接将所述预设顺序值加1，重复循环判定直至累加的所述预设顺序值不小于所述预设语句长度，输出当前类ppl的总得分值；

其中，所述替代词候选集包括正确词和错误词，所述预设顺序值为0对应所述预设语句中第一个汉字，所述预设顺序值逐渐递增对应预设语句中的位置逐渐后移，类ppl的得分值代表了语句困惑度。

2.如权利要求1所述的方法，其特征在于，在基于语句查找相同错词之前，所述方法还包括：

将含有若干个相同错词的待判断文本进行识错的序列标注，得到多个相同的疑似错词，基于第一个疑似错词获取替代词候选集，基于所述替代词候选集得到语句。

3.如权利要求2所述的方法，其特征在于，基于语句查找出相同错词，对所述相同错词用预设标记替代，生成预设语句，具体为：

基于所述语句查找出相同错词，用预设标记替代除了当前位置的其余所述相同错词，生成预设语句，所述预设语句包括原始文字和预设标记。

4.如权利要求1所述的方法，其特征在于，满足预设条件则累加类ppl的得分值并将所述预设顺序值加1，具体为：

判断当前字是否为汉字，当前字为所述预设顺序值对应的所述预设语句中汉字位置；

若是，则用所述预设标记替代所述当前字，进入bert模型中，计算所述当前字的类ppl得分值，将类ppl得分值进行累加及所述顺序值加1。

5.如权利要求1所述的方法，其特征在于，判断所述预设顺序值是否不小于所述预设语句长度，具体为：

判断所述预设顺序值是否不小于所述预设语句中汉字的数量值。

6.一种中文文本中含有多个相同错词纠正的系统，其特征在于，应用于存在多个相同错词的中文文本中，所述系统包括：

替代模块，用于基于语句查找出相同错词，用预设标记替代所述相同错词，生成预设语句；

初始模块，用于初始设定类ppl的得分值和预设顺序值均为0；

判断模块，用于判断所述预设顺序值是否不小于所述预设语句长度，若是则输出当前类ppl的总得分值；

循环模块，用于若否则进入循环判定，满足预设条件则累加类ppl的得分值并将所述预设顺序值加1，不满足则直接将所述预设顺序值加1，重复循环判定直至累加的所述预设顺序值不小于所述预设语句长度，输出当前类ppl的总得分值；

其中，所述替代词候选集包括正确词和错误词，所述预设顺序值为0对应所述预设语句中第一个汉字，所述预设顺序值逐渐递增对应预设语句中的位置逐渐后移，类ppl的得分值代表了语句困惑度。

7.如权利要求6所述的系统，其特征在于，所述系统还包括识错模块，用于：

将含有若干个相同错词的待判断文本进行识错的序列标注，得到多个相同的疑似错词，基于第一个疑似错词获取替代词候选集，基于所述替代词候选集得到语句。

8.如权利要求7所述的系统，其特征在于，所述替代模块，具体用于：

基于所述语句查找出相同错词，用预设标记替代除了当前位置的其余所述相同错词，生成预设语句，所述预设语句包括原始文字和预设标记。

9.如权利要求6所述的系统，其特征在于，所述循环模块，具体用于：

判断当前字是否为汉字，当前字为所述预设顺序值对应的所述预设语句中汉字位置；

若是，则用所述预设标记替代所述当前字，进入bert模型中，计算所述当前字的类ppl得分值，将类ppl得分值进行累加及所述顺序值加1。

10.如权利要求6所述的系统，其特征在于，所述判断模块，具体用于：

判断所述预设顺序值是否不小于所述预设语句中汉字的数量值。