[发明专利]一种推广信息的检测方法及装置

权利要求书

1.一种推广信息的检测方法，包括：

获取预设的样本集合，提取所述样本集合中的各个样本所包含的信息单元；

统计每个信息单元在所述样本集合中的出现次数，将出现次数大于预设的第一阈值的信息单元确定为候选特征单元；

针对每个候选特征单元，分别统计该候选特征单元在各个文档位置的分布情况，根据统计结果确定该候选特征单元是否为推广特征单元；

根据已确定的推广特征单元检测文档中包含的推广信息；

其中，所述分别统计该候选特征单元在各个文档位置的分布情况，根据统计结果确定该候选特征单元是否为推广特征单元的步骤具体包括：

设置用于表示该候选特征单元在各个文档位置的分布情况的向量；其中，所述向量中的各个元素分别对应于各个文档位置；

若该候选特征单元在指定文档位置的分布数量大于预设的分布阈值，则该指定文档位置所对应的元素的元素值非零；若该候选特征单元在指定文档位置的分布数量不大于预设的分布阈值，则该指定文档位置所对应的元素的元素值为零；

当所述向量中非零元素的个数大于预设的元素阈值时，确定该候选特征单元为推广特征单元。

2.根据权利要求1所述的方法，其中，所述设置用于表示该候选特征单元在各个文档位置的分布情况的向量的步骤之前，进一步包括步骤：根据预设的位置划分规则将文档内容划分为多个文档位置；其中，所述预设的位置划分规则包括：基于段落粒度的划分规则、以及基于句子粒度的划分规则；

且所述候选特征单元在指定文档位置的分布数量包括：所述候选特征单元在指定文档位置的出现次数、和/或出现概率。

3.根据权利要求2所述的方法，其中，所述获取预设的样本集合的步骤具体包括：

对多个候选样本进行消重处理，根据消重处理后的候选样本得到所述样本集合。

4.根据权利要求3所述的方法，其中，所述对多个候选样本进行消重处理的步骤具体包括：

计算各个候选样本的标题之间的相似度，针对标题之间的相似度大于预设的相似度阈值的候选样本进行消重；

针对标题之间的相似度不大于预设的相似度阈值的候选样本，查询各个候选样本所对应的关键词集合，若两个候选样本所对应的关键词集合中包含的相同关键词的数量大于预设的数量阈值，则针对所述两个候选样本进行消重。

5.根据权利要求4所述的方法，其中，所述计算各个候选样本的标题之间的相似度的步骤具体包括：通过最大公共子序列算法计算各个候选样本的标题之间的相似度；

且各个候选样本所对应的关键词集合根据对候选样本进行分词处理后得到的各个词汇的逆向文件频率确定；所述数量阈值根据杰卡德相似度算法确定。

6.根据权利要求5所述的方法，其中，所述根据已确定的推广特征单元检测文档中包含的推广信息的步骤具体包括：

根据已确定的推广特征单元及其在各个文档位置的分布情况，设置对应的文档检测模型，根据所述文档检测模型检测文档中包含的推广信息。

7.根据权利要求6所述的方法，其中，所述根据已确定的推广特征单元及其在各个文档位置的分布情况，设置对应的文档检测模型的步骤具体包括：

根据所述已确定的推广特征单元及其在各个文档位置的出现概率以及预设的位置权重，设置所述文档检测模型中包含的模型参数以及各个模型参数所对应的权重值。

8.根据权利要求7所述的方法，其中，所述根据所述文档检测模型检测文档中包含的推广信息的步骤具体包括：

从待检测的文档所包含的各个信息单元中查找与所述文档检测模型中包含的模型参数相匹配的信息单元；

针对查找到的每个信息单元，根据该信息单元在所述待检测的文档中的文档位置和/或与该信息单元相匹配的模型参数的权重值，确定该信息单元的分值，根据分值确定该信息单元是否为推广信息。

9.根据权利要求8所述的方法，其中，所述方法进一步包括步骤：根据检测到的文档中包含的推广信息更新所述文档检测模型；其中，所述文档检测模型包括：深度学习模型。