[发明专利]文本过滤方法、系统、设备及计算机可读存储介质

权利要求书

1.一种文本数据过滤方法，其特征在于，所述文本数据过滤方法包括：

创建垃圾文本信息库，所述垃圾文本信息库存储有至少一垃圾文本数据；

对所述垃圾文本数据进行特征提取，生成垃圾文本特征向量，结合每一特征的权重训练垃圾文本预测模型；

对目标文本数据进行特征提取，生成目标文本特征向量，将所述目标文本特征向量输入所述垃圾文本预测模型，以计算所述目标文本数据为垃圾文本数据的概率；

根据所述概率判断所述目标文本数据是否为垃圾文本数据；

所述垃圾文本数据包括垃圾文本发布时间，所述目标文本数据包括目标文本发布时间；

对所述垃圾文本数据进行特征提取，还包括：将所述垃圾文本发布时间转为数值化表示；

对所述目标文本数据进行特征提取，还包括：将所述目标文本发布时间转为数值化表示；

所述垃圾文本数据包括垃圾文本内容，所述目标文本数据包括目标文本内容；

对所述垃圾文本数据进行特征提取，包括：将所述垃圾文本内容转为数值化表示；

对所述目标文本数据进行特征提取，包括：将所述目标文本内容转为数字化表示；

将所述垃圾文本内容转为数值化表示，包括：

从所述垃圾文本内容提取关键词，所述关键词是一些不雅或是涉及敏感主题的词语或是在垃圾文本内容中经常出现的词语；

统计所述垃圾文本内容中每一关键词出现的次数；

按照关键词的索引顺序列出每一关键词出现的次数，形成第一空间向量，所述第一空间向量在生成垃圾文本特征向量时作为所述垃圾文本特征向量或所述垃圾文本特征向量中的部分维度的值；

将所述目标文本内容转为数值化表示，包括：

从所述目标文本内容提取关键词；

统计所述目标文本内容中每一关键词出现的次数；

按照关键词的索引顺序列出每一关键词出现的次数，形成第二空间向量，所述第二空间向量在生成目标文本特征向量时作为所述目标文本特征向量或所述目标文本特征向量中的部分维度的值。

2.如权利要求1所述的文本数据过滤方法，其特征在于，将所述垃圾文本发布时间转为数值化表示，包括：

划分若干时间段，并且为每一时间段分别设置一个数值量；

判断所述垃圾文本发布时间所属的第一时间段，并确定所述第一时间段对应的数值量，所述第一时间段对应的数值量在生成垃圾文本特征向量时作为垃圾特征向量的一个维度的值，与所述第一空间向量合并后，形成所述垃圾文本特征向量；

将所述目标文本发布时间转为数值化表示，包括：

按照已划分的时间段，判断所述目标文本发布时间所属的第二时间段，并确定所述第二时间段对应的数值量，所述第二时间段对应的数值量在生成目标文本特征向量时作为所述目标文本特征向量的一个维度的值，与所述第二空间向量合并后，形成所述目标文本特征向量。

3.如权利要求1所述的文本数据过滤方法，其特征在于，每一特征的权重通过ReliefF算法计算而得，所述垃圾文本预测模型基于ReliefF算法训练而成。

4.如权利要求1所述的文本数据过滤方法，其特征在于，所述文本数据过滤方法还包括：

对判定为垃圾文本数据的目标文本数据进行人工核查；

和/或，将利用所述垃圾文本预测模型判定为垃圾文本数据的目标文本数据或经过人工核查确认为垃圾文本数据的目标文本数据存入所述垃圾文本信息库。