[发明专利]一种面向青少年群体的文字和图像数据的过滤方法及系统

权利要求书

1.一种面向青少年群体的文字和图像数据的过滤方法，其特征在于：所述过滤方法包括如下步骤，

S1、对互联网页面上的文本进行数据预处理；所述数据预处理包括网页建树和分区文本提取；

S2、判断提取的分区文本中的数据是否为适合青少年阅读的数据，若是，则执行步骤S3，若否，则过滤该条数据；

S3、分区文本中的数据中添加非文本特征，并判断其是否属于低质量数据，若是，则过滤该条数据；若否，则该条数据将被呈现；

S4、寻找并下载分区文本中的有效图片链接，并对图片的二进制流进行处理，通过卷积神经网络判断该图片是否适合呈现给青少年，若是，则该图片将被呈现，若否，则过滤该图片；

步骤S1包括如下内容，

S101、网页建树；按照HTMLDTD4.0规范分解互联网页面上所有的标签，一个标签作为一个树节点，按照标签之间的包含依赖关系、采用递归下降的方法构造语法树，并将互联网页面上的文本分为不同的区域，分别为META区域、正文区域、链接区域；

S102、分区文本提取；对分区后的文本进行标题提取、META信息提取和链接文本提取的操作；

步骤S3包括如下内容，

S301、依据已知低质量页面中的JS，对分区文本中数据的JS代码进行聚类，提取常见的作弊JS跳转代码，并生成模板；对步骤S1中提取出的分区文本中数据的JS代码与模板进行正则匹配，如果匹配成功，则过滤分区文本中的数据；如果匹配失败，则执行步骤S302；

S302、构建赌博、色情、暴力以及对应的变种词表；通过构建Trie树的方式进行多模匹配，如果匹配成功，则过滤该分区文本中的数据；如果匹配失败，则执行步骤S303；

S303、对META区域、正文区域、链接区域的数据进行识别，如果数据被识别为低质量数据，则过滤该数据；如果数据不被识别为低质量数据，则该数据将被呈现。

2.根据权利要求1所述的面向青少年群体的文字和图像数据的过滤方法，其特征在于：所述标题提取具体为，遍历分区后的文本，当遍历到TAG_TITLE节点后，将该节点及其所有属性为TAG_PURETEXT的子节点的文字内容进行文字处理，获取标题内容；所述META信息提取具体为，遍历分区后的文本中的META节点，获取KEYWORDS-DESCRIPTION节点，将该节点及其所有属性为TAG_PURETEXT的子节点的文字内容进行文字处理，获取META内容；所述链接文本提取具体为，从A、AREA、IMG、LINK、FRAME、IFRMAE或EMBED的标签中提取url链接，并从A和OPTION的PURE_TEXT子节点中提取链接文本。

3.根据权利要求1所述的面向青少年群体的文字和图像数据的过滤方法，其特征在于：步骤S2包括如下内容，

S201、在分区文本中收集一批已标明是否适合青少年的数据，作为FastText模型的第一训练集，记为

T＝{X₁,y₁,X₂,y₂,...,X_i,y_i}

其中，i为第一训练集中数据的编号，i＝1,2,...,N，N为第一训练集中数据总数，X_i为第一训练集中第i个数据，y_i为第一训练集中第i个数据的标签，如果该数据适合青少年，则y_i＝1；如果该数据不适合青少年，则y_i＝0；

S202、对第一训练集中的数据进行切词，生成多维词向量，表示为X_i＝{x_i1,x_i2,......x_ik}，其中，x_ik表示第i条数据切词后的第k个词；并将第一训练集灌入FastText框架进行训练，得到FastText模型；

S203、对第一训练集中部分标注过的数据，将其切词后的多为词向量输入FastText模型，获取输出结果，判断输出结果与设定阈值之间的大小关系，若输出结果大于或等于设定阈值，则过滤该数据，若输出结果小于设定阈值，则该数据适合青少年，并执行步骤S3。