[发明专利]一种基于内容显著性语句语义分析的内容检索和消重方法

摘要

一种基于内容显著性语句语义分析的内容检索和消重方法，文章检测为将文章内容拆成各个句子，按照句子长度排序，将每个句子进行分词，从词表中获取每个词的数值，然后数值求和；将所有数值转换成10维向量，最后计算查询文章的10维向量和数据库中保存的向量的距离，当距离小于一定值的时候，我们就认为两篇文章内容是相似的；所述距离计算方案为需要消重的内容变多，距离计算的次数会增加，这样就会增加检查消重的时间长度，于是这里采用分堆的方式进行计算；将向量分成十个字段，连带上url，urlcrc存入数据库中；计算距离时，将每个向量各自查找相应字段数值上下浮动的区间，如果查询到结果，则认为语意相近以解决由于转载导致同样资讯的问题。

主权项

一种基于内容显著性语句语义分析的内容检索和消重方法，其特征在于：包括内容显著性语句语义分析方案与其它辅助消重方案；内容显著性语句语义分析方案内包括准备建立词表、文章检测与距离计算方案；所述准备建立词表可以保存成数值；文章检测为将文章内容拆成各个句子，按照句子长度排序，取前十个句子；将每个句子进行分词，从词表中获取每个词的数值，然后数值求和；10个句子对应10个数值，将所有数值转换成10维向量，这样每篇文章就对应了一个向量；最后计算查询文章的10维向量和数据库中保存的向量的距离，当距离小于一定值的时候，我们就认为两篇文章内容是相似的；所述距离计算方案为需要消重的内容变多，距离计算的次数会增加，这样就会增加检查消重的时间长度，于是这里采用分堆的方式进行计算；将向量分成十个字段，连带上url，urlcrc存入数据库中；计算距离时，将每个向量各自查找相应字段数值上下浮动的区间，如果查询到结果，则认为语意相近。