[发明专利]一种推广信息的检测方法及装置

说明书

本发明公开了一种推广信息的检测方法及装置，其涉及文本过滤处理技术领域，该方法包括：获取预设的样本集合，提取样本集合中的各个样本所包含的信息单元；统计每个信息单元在样本集合中的出现次数，将出现次数大于预设的第一阈值的信息单元确定为候选特征单元；针对每个候选特征单元，分别统计该候选特征单元在各个文档位置的分布情况，根据统计结果确定该候选特征单元是否为推广特征单元；根据已确定的推广特征单元检测文档中包含的推广信息。由此可见，本发明能够有效且准确地过滤广告信息或垃圾推广信息的效果，使得采用机器抓取方法也能提取到纯净的新闻内容，极大地提高了汇编自媒体平台新闻的效率。

技术领域

本发明涉及文本过滤处理技术领域，具体涉及一种推广信息的检测方法及装置。

背景技术

随着互联网技术的发展，自媒体时代已经到来。与传统新闻媒体不同，自媒体平台的新闻具有更好的及时性和来源的广泛性，且自媒体平台本身的开放性使得每一个平台用户既可以成为新闻的阅读者，也可以成为新闻的生产者和发布者。就目前的情况而言，越来越多的突发新闻通过微信、微博等自媒体平台得以及时发布，且人们也越来越习惯从自媒体平台获取自己感兴趣的新闻内容。与此同时，通过用户之间的相互转发，自媒体平台的新闻也得到了有效的传播。

但是，发明人在实现本发明的过程中，发现在现有技术中至少存在如下问题：为了汇编自媒体平台的新闻，方便用户阅读，可以采用机器抓取的方法搜集自媒体平台的新闻内容。但是，因为自媒体平台的新闻内容中往往夹杂有广告信息或者垃圾推广信息，所以采用现有技术进行新闻内容抓取时，无法准确地过滤广告信息或者垃圾推广信息，使得无法抓取到纯净的新闻内容。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的推广信息的检测方法及装置。

根据本发明的一个方面，提供了一种推广信息的检测方法，包括：获取预设的样本集合，提取样本集合中的各个样本所包含的信息单元；统计每个信息单元在样本集合中的出现次数，将出现次数大于预设的第一阈值的信息单元确定为候选特征单元；针对每个候选特征单元，分别统计该候选特征单元在各个文档位置的分布情况，根据统计结果确定该候选特征单元是否为推广特征单元；根据已确定的推广特征单元检测文档中包含的推广信息。

根据本发明的另一方面，提供了一种推广信息的检测装置，包括：信息单元提取模块，用于获取预设的样本集合，提取样本集合中的各个样本所包含的信息单元；候选单元确定模块，用于统计每个信息单元在样本集合中的出现次数，将出现次数大于预设的第一阈值的信息单元确定为候选特征单元；推广单元确定模块，用于针对每个候选特征单元，分别统计该候选特征单元在各个文档位置的分布情况，根据统计结果确定该候选特征单元是否为推广特征单元；检测模块，用于根据已确定的推广特征单元检测文档中包含的推广信息。

由此可见，本发明提供了一种推广信息的检测方法及装置，通过提取预设样本集合中的信息单元，并根据信息单元在样本集合中的出现次数来确定信息单元中的候选特征单元，然后根据候选特征单元在各个文档中位置的分布情况确定候选特征单元中的推广特征单元，最后根据筛选出的推广特征单元检测目标文档中包含的推广信息，从而实现了在采用机器抓取方法提取自媒体平台新闻的过程中有效且准确过滤广告信息或垃圾推广信息的效果，使得采用机器抓取方法也能提取到纯净的新闻内容，极大地提高了汇编自媒体平台新闻的效率。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：