[发明专利]一种文本处理方法、装置、电子设备及存储介质

权利要求书

1.一种文本处理方法，其特征在于，包括：

获取目标文本集合，并利用目标神经网络模型对所述目标文本集合中的各文本进行向量化表示，得到所述目标文本集合中的各文本的文本向量；

根据所述目标文本集合中的各文本的文本向量，从所述目标文本集合中确定出多个文本对，所述文本对包括至少两个相似的文本；

利用所述多个文本对训练初始的语句相似判别模型，得到训练后的语句相似判别模型；

在检测到待添加至目标语料库的第一文本时，通过所述训练后的语句相似判别模型，校验所述第一文本是否与目标语料库中的文本重复；

在所述第一文本不与所述目标语料库中的文本重复时，将所述第一文本添加至所述目标语料库中。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在初始的神经网络模型的编码模块后添加分类层，得到包括所述编码模块和所述分类层的神经网络模型；

利用训练文本集合训练包括所述编码模块和所述分类层的神经网络模型，得到训练后的神经网络模型；

删除所述训练后的神经网络模型包括的分类层，并将删除了分类层的训练后的神经网络模型确定为目标神经网络模型。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对所述多个文本对标注指示该文本对中各文本间是否相似的标签；

所述利用所述多个文本对训练初始的语句相似判别模型，得到训练后的语句相似判别模型，包括：

利用所述多个文本对和标注的指示该文本对中各文本间是否相似的标签，训练初始的语句相似判别模型，得到训练后的语句相似判别模型。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

获取所述多个常见问题组，所述多个常见问题组包括的各问题之间相似；

对所述多个常见问题组标注指示该常见问题组中各问题间是否相似的标签；

所述利用所述多个文本对和标注的指示该文本对中各文本间是否相似的标签，训练初始的语句相似判别模型，得到训练后的语句相似判别模型，包括：

利用所述多个文本对和标注的指示该文本对中各文本间是否相似的标签，以及所述多个常见问题组和标注的指示该常见文体组中各问题间是否相似的标签，训练初始的语句相似判别模型，得到训练后的语句相似判别模型。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：

获取初始语料库；

通过所述目标神经网络模型对所述初始语料库中的各文本进行向量化表示，得到所述初始语料库中的各文本的文本向量；

根据所述初始语料库中的各文本的文本向量，从所述初始语料库中确定出至少两个文本对；

从所述至少两个文本对中确定出第一文本对集合和第二文本对集合，所述第一文本对集合中的各文本对标注的指示该文本对中各文本间相似的标签，所述第二文本对集合中的各文本对标注的指示该文本对中各文本间不相似的标签；

将所述第一文本对中每个文本对删除至剩余一个文本，得到包括所述每个文本对剩余的一个文本、所述第二文本对以及所述初始语料库中除所述至少两个文本对之外的其它文本的目标语料库。

6.根据权利要求1-4任一项所述的方法，其特征在于，所述通过所述训练后的语句相似判别模型，校验所述第一文本是否与目标语料库中的文本重复，包括：

对所述第一文本和所述目标语料库中的第二文本进行拼接处理，得到拼接后的文本，并通过所述训练后的语句相似判别模型判断所述第一文本与所述第二文本是否相似；所述第二文本，为未通过所述训练后的语句相似判别模型判断与所述第一文本是否相似的任一文本；

重复执行对所述第一文本和所述目标语料库中的第二文本进行拼接处理，得到拼接后的文本，并通过所述训练后的语句相似判别模型判断所述第一文本与所述第二文本是否相似的步骤，直到所述目标语料库中不存在所述第二文本；

在所述第一文本和所述目标语料库中所有文本均不相似时，确定所述第一文本不与所述目标语料库中的文本重复。