[发明专利]一种推广信息的检测方法及装置

摘要

本发明公开了一种推广信息的检测方法及装置，其涉及文本过滤处理技术领域，该方法包括：获取预设的样本集合，提取样本集合中的各个样本所包含的信息单元；统计每个信息单元在样本集合中的出现次数，将出现次数大于预设的第一阈值的信息单元确定为候选特征单元；针对每个候选特征单元，分别统计该候选特征单元在各个文档位置的分布情况，根据统计结果确定该候选特征单元是否为推广特征单元；根据已确定的推广特征单元检测文档中包含的推广信息。由此可见，本发明能够有效且准确地过滤广告信息或垃圾推广信息的效果，使得采用机器抓取方法也能提取到纯净的新闻内容，极大地提高了汇编自媒体平台新闻的效率。

主权项

1.一种推广信息的检测方法，包括：/n获取预设的样本集合，提取所述样本集合中的各个样本所包含的信息单元；/n统计每个信息单元在所述样本集合中的出现次数，将出现次数大于预设的第一阈值的信息单元确定为候选特征单元；/n针对每个候选特征单元，分别统计该候选特征单元在各个文档位置的分布情况，根据统计结果确定该候选特征单元是否为推广特征单元；/n根据已确定的推广特征单元检测文档中包含的推广信息；/n其中，所述分别统计该候选特征单元在各个文档位置的分布情况，根据统计结果确定该候选特征单元是否为推广特征单元的步骤具体包括：/n设置用于表示该候选特征单元在各个文档位置的分布情况的向量；其中，所述向量中的各个元素分别对应于各个文档位置；/n若该候选特征单元在指定文档位置的分布数量大于预设的分布阈值，则该指定文档位置所对应的元素的元素值非零；若该候选特征单元在指定文档位置的分布数量不大于预设的分布阈值，则该指定文档位置所对应的元素的元素值为零；/n当所述向量中非零元素的个数大于预设的元素阈值时，确定该候选特征单元为推广特征单元。/n