[发明专利]一种文本去重的方法、装置及设备

权利要求书

1.一种文本去重的方法，其特征在于，所述方法包括：

基于目标对象反馈的第一反馈文本，确定所述第一反馈文本中的实体关键词和描述关键词；

基于文本分类模型，确定所述实体关键词的第一词向量以及所述描述关键词的第二词向量；

基于所述第一词向量与所述第二词向量，确定所述第一反馈文本的句向量；

计算所述第一反馈文本的句向量与预设文本向量库中第二反馈文本的句向量之间的相似度，所述预设文本向量库包括预设的第二反馈文本与句向量的映射关系；

基于所述相似度，对所述第一反馈文本进行去重处理。

2.根据权利要求1所述的方法，其特征在于，所述基于所述第一词向量与所述第二词向量，确定所述第一反馈文本的句向量包括：

计算所述第一词向量与所述第二词向量的加权平均值；

将所述加权平均值确定为所述第一反馈文本的句向量。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

计算所述实体关键词的第一概率权重，所述第一概率权重用于表征所述实体关键词在所述预设文本向量库中出现的概率；

计算所述描述关键词的第二概率权重，所述第二概率权重用于表征所述描述关键词在所述预设文本向量库中出现的概率；

相应的，所述计算所述第一词向量与所述第二词向量的加权平均值包括：

基于所述第一概率权重与所述第一词向量，确定实体关键词的权重词向量；

基于所述第二概率权重与所述第二词向量，确定描述关键词的权重词向量；

计算所述实体关键词和所述描述关键词的权重词向量的平均值，得到权重词向量平均值；

将所述权重词向量平均值作为所述第一词向量与所述第二词向量的加权平均值。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

确定所述实体关键词的第一类型权重；

确定所述描述关键词的第二类型权重；

相应的，所述基于所述第一概率权重与所述第一词向量，确定实体关键词的权重词向量包括：

基于所述第一概率权重、所述第一类型权重与所述第一词向量，确定所述实体关键词的权重词向量；

相应的，所述基于所述第二概率权重与所述第二词向量，确定描述关键词的权重词向量包括：

基于所述第二概率权重、所述第二类型权重与所述第二词向量，确定所述描述关键词的权重词向量。

5.根据权利要求1所述的方法，其特征在于，所述基于目标对象反馈的第一反馈文本，确定所述第一反馈文本中的实体关键词和描述关键词包括：

获取所述第一反馈文本中的原始实体关键词和原始描述关键词；

基于预设同义词库，对所述原始实体关键词和所述原始描述关键词进行同义词替换处理，得到所述原始实体关键词对应的标准实体关键词和所述原始描述关键词对应的标准描述关键词；

将所述标准实体关键词作为所述实体关键词，将所述标准描述关键词作为所述描述关键词。

6.根据权利要求1所述的方法，其特征在于，所述基于所述相似度，对所述第一反馈文本进行去重处理包括：

将与所述预设文本向量库中第二反馈文本的句向量之间的相似度大于等于预设阈值的第一反馈文本确定为重复文本；

删除所述重复文本。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

将与所述预设文本向量库中第二反馈文本的句向量之间的相似度小于所述预设阈值的第一反馈文本确定为非重复文本；

将所述非重复文本存储于所述预设文本向量库中。