[发明专利]一种页面敏感性检测方法、装置、电子设备和存储介质

说明书

本申请提供了一种页面敏感性检测方法、装置和电子设备，应用于敏感页面检测，其中，该方法包括：根据页面数据中的文本信息，得到预设关键词个数的关键词集合；根据预先定义的敏感词字典，对所述文本信息进行多模匹配，得到预设敏感词个数的敏感词集合；将所述关键词集合与所述敏感词集合进行对比，得到用于计算页面敏感性置信度的对比结果；根据预设置信度算法和所述对比结果计算页面数据的敏感性置信度；根据所述敏感性置信度判断页面的敏感程度。本申请实施例通过页面内容的识别，其只需要定义待检测页面的敏感词字典即可有效的对页面进行敏感性检测，节约了人力和物力，降低了成本。

技术领域

本申请涉及页面检测技术领域，具体而言，涉及一种页面敏感性检测方法、装置、电子设备和存储介质。

背景技术

目前，对于网页检测，传统的检测方法往往用于成人、暴力、广告等内容的检测，且网页检测方法主要集中在对页面的URL、超链接、关键词等元素进行检测，这些方法主要通过页面暴露给搜索引擎的这些元素，对网页的敏感性进行划分，从而确定网页的敏感性。

此外，近些年有采用基于网页结构特征的机器学习算法出现，该类算法是对页面的部分内容、编码结构、URL等多方面进行特征表示，然后通过机器学习模型进行判别，也取得了不错的检测效果。

但是上述方法过多的关注于页面与其它同类页面的联系，对于页面本身内容的贡献不够重视，而且都依赖于经验数据或者训练数据；所以，对于特定敏感内容的检测或非广义的敏感页面，需要消耗大量的时间和人力进行模型创建和调试，其成本较高。

发明内容

有鉴于此，本申请实施例提供了一种页面敏感性检测方法、装置、电子设备和存储介质，以解决上述现有技术中对于页面检测，需要消耗大量的时间和人力进行模型创建和调试，造成了成本较高的问题。

第一方面，本申请实施例提供了一种页面敏感性检测方法，应用于敏感页面检测，包括：

根据页面数据中的文本信息，得到预设关键词个数的关键词集合；

根据预先定义的敏感词字典，对所述文本信息进行多模匹配，得到预设敏感词个数的敏感词集合；

将所述关键词集合与所述敏感词集合进行对比，得到用于计算页面敏感性置信度的对比结果；

根据预设置信度算法和所述对比结果计算页面数据的敏感性置信度；

根据所述敏感性置信度判断页面的敏感程度。

结合第一方面，本申请实施例提供了第一方面的第一种可能的实施方式，其中，根据页面数据中的文本信息，得到预设关键词个数的关键词集合，包括：

基于页面排序处理算法，对页面数据处理后得到的文本信息进行关键词提取；并根据提取出的所述的关键词之间的关联度，将所述关键词降序排列，并筛选出预设个数的关键词集合。

结合第一方面的第一种可能的实施方式，本申请实施例提供了第一方面的第二种可能的实施方式，其中，根据预先定义的敏感词字典，对所述文本信息进行多模匹配，得到预设敏感词个数的敏感词集合，包括：

基于多模匹配算法和敏感词字典，得到所述文本信息中的敏感词；

根据所述敏感词出现的次数，将所述敏感词降序排列，并筛选出预设敏感词个数的敏感词集合。

结合第一方面的第一种可能的实施方式，本申请实施例提供了第一方面的第三种可能的实施方式，其中，根据预设置信度算法和所述对比结果计算页面数据的敏感性置信度，包括：

确定所述关键词集合和所述敏感词集合的最大公共子集，所述最大公共子集的大小为w；

将所述敏感词出现的总次数与文章的总词数相除，得到所述敏感词的文档词频TF；