[发明专利]一种垂直领域源数据过滤方法及装置

权利要求书

1.一种垂直领域源数据的过滤方法，其特征在于，包括：

配置过滤流程，过滤流程包括依次执行的匹配规则和过滤模型；

根据过滤流程，对源数据进行规则匹配，若符合所述匹配规则，则过滤流程停止；否则，利用所述过滤模型继续对所述源数据进行过滤；

所述匹配规则包括关键词白名单匹配规则和黑名单匹配规则，所述对源数据进行规则匹配，包括：

根据所述关键词白名单匹配规则，判断源数据中是否存在关键词白名单中的词条，若是，则认为源数据为有效数据，且过滤流程停止；否则，

根据所述黑名单匹配规则，继续判断源数据中是否存在黑名单中的词条，若是，则认为所述源数据为无效数据；

所述过滤模型包括依次执行的多个子过滤模型，所述利用所述过滤模型继续对所述源数据进行过滤，包括：依次利用各子过滤模型对源数据进行过滤，若当前子过滤模型输出分类结果，则停止过滤流程，否则，继续利用下一个子过滤模型对所述源数据进行过滤；

所述过滤模型包括多条过滤支路，每条过滤支路包括依次执行的多个子分类过滤模型，每个子分类过滤模型通过不同的样本进行训练而获得，所述利用所述过滤模型继续对所述源数据进行过滤，包括：

多条过滤支路同时对所述源数据进行过滤，每一条过滤支路进行过滤的步骤包括：依次利用各子分类过滤模型对源数据进行过滤，若当前子分类模型输出分类结果，则停止过滤流程，否则，继续利用下一个子分类过滤模型对所述源数据进行过滤。

2.根据权利要求1所述的过滤方法，其特征在于，所述匹配规则还包括URL白名单匹配规则，则，判断源数据中是否存在白名单中的词条之前，还包括：

根据所述URL白名单匹配规则，判断获取源数据的URL是否存在于URL白名单中，若是，则认为源数据为有效数据，且过滤流程停止；否则，

进入判断源数据中是否存在关键词白名单中的词条的步骤中。

3.根据权利要求1所述的过滤方法，其特征在于，每条过滤支路中的子分类过滤模型采用同一信源的样本数据。

4.根据权利要求1所述的过滤方法，其特征在于，所述多个子分类过滤模型为依次执行的特定分类模型和通用分类模型，所述特定分类模型通过对预设领域中特定关键词的样本进行分类训练而获得；所述通用分类模型通过对预设领域中多个关键词的样本进行分类训练而获得。

5.一种垂直领域源数据的过滤装置，其特征在于，包括：

过滤流程配置单元，用于配置过滤流程，过滤流程包括依次执行的匹配规则和过滤模型；

规则匹配单元，用于根据过滤流程，对源数据进行规则匹配，若符合所述匹配规则，则过滤流程停止；

所述匹配规则包括关键词白名单匹配规则和黑名单匹配规则；所述规则匹配单元包括：

关键字白名单匹配单元，用于根据所述关键词白名单匹配规则，判断源数据中是否存在关键词白名单中的词条，若是，则认为源数据为有效数据，且过滤流程停止；

黑名单匹配单元，用于在判断源数据中不存在关键词白名单中的词条时，根据所述黑名单匹配规则，继续判断源数据中是否存在黑名单中的词条，若是，则认为所述源数据为无效数据；

模型过滤单元，用于规则匹配单元中不符合所述匹配规则时，利用所述过滤模型继续对所述源数据进行过滤；

所述过滤模型包括依次执行的多个子过滤模型；所述模型过滤单元包括依次执行的多个子模型过滤单元；每个子模型过滤单元，用于利用子过滤模型对源数据进行过滤，若输出分类结果，则停止过滤流程，否则，触发下一子模型过滤单元；

所述过滤模型包括多条过滤支路，每条过滤支路包括依次执行的多个子分类过滤模型，每个子分类过滤模型通过不同的样本进行训练而获得；所述模型过滤单元包括：多条过滤支路单元，每条过滤支路单元包括依次执行的多个子模型过滤单元；每个子模型过滤单元，用于利用子过滤模型对源数据进行过滤，若输出分类结果，则停止过滤流程，否则，触发下一子模型过滤单元。

6.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行如权利要求1-4中任一项所述的垂直领域源数据的过滤方法。

7.一种处理器，其特征在于，所述处理器中包含内核，由所述内核去存储器中调取相应的程序单元；所述内核可以设置一个或以上，通过调整内核参数来提高过滤效率；

所述处理器用于运行程序，其中所述程序运行时执行如权利要求1-4中任一项所述的垂直领域源数据的过滤方法。