[发明专利]一种文本相似度计算去重方法、系统、介质及设备

摘要

本发明公开了一种文本相似度计算去重方法、系统、介质及设备，将热线文本数据集导入数据库，并输入训练好的模型中进行特征提取，特征融合和特征增强，得到数据的最终特征并序列化保存；输入待计算数据到模型中提取最终特征；与相应日期内的热线文本数据进行余弦相似度计算，得到相似度结果；输出排名top50的相似度结果，进行去重。本发明面向政务服务便民热线，通过模型将热线文本内容的最终句子特征提取出来进行相似度计算去重，还提供了外界调用的途径，可通过四个接口操作模型实现不同的模型功能，便于操作，实用性强，适用于热线领域。