[发明专利]一种垃圾信息判断方法和装置以及一种服务器集群

权利要求书

1.一种垃圾信息判断方法，包括：

获取特征词汇表，其中所述特征词汇表通过对预先获取的多条样本信息之间进行文本相似度计算而得到；

接收待判断的目标信息；

将所述目标信息与所述特征词汇表进行比较，以判断所述目标信息是否为垃圾信息；

其中，所述获取特征词汇表包括：

获取多条样本信息中每条样本信息的样本信息向量；

对多条样本信息向量计算两两之间的文本相似度，当存在其中两条样本信息向量之间的文本相似度符合预设条件时，将所述两条样本信息向量分别对应的两条样本信息共同列入第一信息集合；

将没有列入第一信息集合的样本信息列入第二信息集合；

根据所述第一信息集合和所述第二信息集合的内容获取所述特征词汇表。

2.如权利要求1所述的方法，其中，所述获取多条样本信息中每条样本信息的样本信息向量包括：

对所述多条样本信息中的每一条样本信息进行分词，获取分词后每个词汇的词向量；

根据每一条样本信息中每个词汇的词向量获取对应的样本信息向量。

3.如权利要求1所述的方法，其中，所述其中两条样本信息向量之间的文本相似度符合预设条件包括：

所述两条样本信息向量之间的文本相似度大于预设阈值。

4.如权利要求1所述的方法，其中，所述根据所述第一信息集合和所述第二信息集合的内容获取所述特征词汇表包括：

获取所述第一信息集合中的样本信息所包含的所有词汇的总词汇表；

针对所述总词汇表中的每个词汇，计算对应所述第一信息集合的卡方统计量，将所述卡方统计量符合预设条件的词汇列入所述特征词汇表。

5.如权利要求4所述的方法，其中，所述方法还包括：

利用所述第二信息集合中符合预设条件的词汇对所述特征词汇表中的词汇进行过滤，得到过滤后的特征词汇表。

6.如权利要求1所述的方法，其中，所述将所述目标信息与所述特征词汇表进行比较，以判断所述目标信息是否为垃圾信息包括：

计算所述目标信息中包含所述特征词汇表中词汇的比例；

当所述比例超过预设阈值时，判断所述目标信息为垃圾信息。

7.一种垃圾信息判断装置，包括：

获取单元，配置为获取特征词汇表，其中所述特征词汇表通过对预先获取的多条样本信息之间进行文本相似度计算而得到；

接收单元，配置为接收待判断的目标信息；

判断单元，配置为将所述目标信息与所述特征词汇表进行比较，以判断所述目标信息是否为垃圾信息；

其中，所述获取单元获取多条样本信息中每条样本信息的样本信息向量；

对多条样本信息向量计算两两之间的文本相似度，当存在其中两条样本信息向量之间的文本相似度符合预设条件时，将所述两条样本信息向量分别对应的两条样本信息共同列入第一信息集合；

将没有列入第一信息集合的样本信息列入第二信息集合；

根据所述第一信息集合和所述第二信息集合的内容获取所述特征词汇表。

8.如权利要求7所述的装置，其中，

所述获取单元对所述多条样本信息中的每一条样本信息进行分词，获取分词后每个词汇的词向量；

根据每一条样本信息中每个词汇的词向量获取对应的样本信息向量。

9.如权利要求7所述的装置，其中，所述其中两条样本信息向量之间的文本相似度符合预设条件包括：

所述两条样本信息向量之间的文本相似度大于预设阈值。

10.如权利要求7所述的装置，其中，

所述获取单元获取所述第一信息集合中的样本信息所包含的所有词汇的总词汇表；

针对所述总词汇表中的每个词汇，计算对应所述第一信息集合的卡方统计量，将所述卡方统计量符合预设条件的词汇列入所述特征词汇表。