[发明专利]一种文本去重方法、装置、电子设备和存储介质

权利要求书

1.一种文本去重方法，其特征在于，该方法包括：

分别对文本集合中的各个待去重文本进行子文本串截取，获得所述各个待去重文本各自对应的子文本串集合；

基于获得的各个子文本串集合各自包含的各个子文本串的特征信息，分别确定所述各个子文本串各自对应的目标权重；

从所述各个子文本串中，筛选出目标权重不低于目标阈值的子文本串，作为目标子文本串；

分别基于所述各个待去重文本与各个目标子文本串之间的包含关系，对所述各个待去重文本进行去重。

2.如权利要求1所述的方法，其特征在于，基于获得的各个子文本串集合各自包含的各个子文本串的特征信息，分别确定所述各个子文本串各自对应的目标权重时，对于每个子文本串，分别执行以下操作：

获取一个子文本串的第一嵌入特征信息，所述一个子文本串包含的各个元素的第二嵌入特征信息，以及每个元素在所述一个子文本串中各自对应的偏移特征信息；

基于所述第一嵌入特征信息，所述第二嵌入特征信息以及所述偏移特征信息，对每个元素进行注意力特征提取，获得所述一个子文本串中的元素之间的关联权重；

将所述关联权重作为所述一个子文本串对应的目标权重。

3.如权利要求2所述的方法，其特征在于，所述基于所述第一嵌入特征信息，所述第二嵌入特征信息以及所述偏移特征信息，对每个元素进行注意力特征提取，获得所述一个子文本串中的元素之间的关联权重，包括：

基于所述第一嵌入特征信息，所述第二嵌入特征信息以及所述偏移特征信息，对所述一个子文本串进行语义表示，获取所述一个子文本串对应的语义特征向量，以及所述一个子文本串中的各个元素对应的语义特征向量；

针对各个元素，分别执行以下操作：基于一个元素对应的语义特征向量，和所述一个子文本串对应的语义特征向量，进行归一化处理，获得所述一个元素对应的归一化值；将所述一个元素的归一化值对应的指数幂，与所述一个子文本串中所有元素的归一化值对应的指数幂之和的比值，作为所述一个元素对应的注意力权重；

分别将所述各个元素各自的归一化值与相应注意力权重进行加权求和，获得所述关联权重。

4.如权利要求1所述的方法，其特征在于，所述分别基于所述各个待去重文本与所述各个目标子文本串之间的包含关系，对所述各个待去重文本进行去重，包括：

分别基于所述各个待去重文本与所述各个目标子文本串之间的包含关系，将所述各个待去重文本划分得到多个候选文本集合；

分别对各个候选文本集合中的待去重文本进行初步去重，获得剩余待去重文本；

根据各个剩余待去重文本的哈希值，对所述各个剩余待去重文本进行二次去重。

5.如权利要求4所述的方法，其特征在于，所述分别基于所述各个待去重文本与所述各个目标子文本串之间的包含关系，将所述各个待去重文本划分得到多个候选文本集合，包括：

基于所述各个待去重文本是否包含各个目标子文本串，确定所述各个待去重文本对应的编码向量；

基于所述各个编码向量所组成的编码矩阵，获取所述各个待去重文本对应的最小哈希向量；

基于对所述各个待去重文本的最小哈希向量进行分段，基于分段结果对所述各个待去重文本进行哈希分桶，获得多个候选文本集合。

6.如权利要求4所述的方法，其特征在于，分别对各个候选文本集合中的待去重文本进行初步去重时，对于每个候选文本集合，分别执行以下操作：

获取一个候选文本集合中的每两个待去重文本之间的文本相似度；

基于所述每两个待去重文本的文本相似度，对于所述候选文本集合中的待去重文本进行去重。

7.如权利要求1～6任一项所述的方法，其特征在于，所述分别对文本集合中的各个待去重文本进行子文本串截取，获得所述各个待去重文本各自对应的子文本串集合，包括：

将预设长度参考值与所有待去重文本对应的最大文本长度中的最小值，作为子文本串的截取长度；

根据所述截取长度，分别从所述各个待去重文本中滑动截取若干子文本串；

将基于同一待去重文本截取的子文本串组成的集合，作为所述同一待去重文本对应的子文本串集合。