[发明专利]一种垂直领域源数据过滤方法及装置

说明书

本发明提供一种垂直领域源数据的过滤方法及装置，先配置过滤流程，过滤流程中包含有匹配规则和过滤模型，在具体过滤时，先进行规则匹配，对于符合规则的源数据，则停止过滤，否则，继续进行模型过滤。通过配置过滤流程，控制整个数据过滤的过程，对于噪声低的源数据则可以通过规则匹配完成数据的有效过滤，对于噪声高的源数据，则可以进一步进行模型过滤，这样，在提高过滤效率的同时，保证了过滤的准确性和召回率。

技术领域

本发明涉及垂直领域的大数据处理，特别涉及一种垂直领域源数据的过滤方法及装置。

背景技术

随着互联网技术以及数据处理技术的不断发展，大数据处理有了广泛的应用，其利用海量的数据并从中提取出有价值的信息，根据不同的分析目的，这些信息可以进一步用于指导市场营销、进行市场预测或者风险控制等等。

当前行业的划分越来越精细，在不同的垂直领域，例如汽车、服装等特定行业，大数据得到了广泛的应用。在大数据处理过程中，需要爬取海量的网络数据，在爬取时主要通过关键词匹配的方法，将种子目录中包含有关键词的所有数据都爬取下来，这些数据中包含有大量的噪声数据，而噪声数据是后续大数据处理时不需要的数据，这些噪声数据的存在会使得数据的处理变得困难，处理结果的准确性也会受到影响。

因此，需要对源数据进行过滤的步骤，在过滤后，要将噪声数据过滤掉，以使得数据可用，即保证数据过滤的准确率，此外，不能让有效数据流失过多，即保证数据的召回率。目前，主要是通过分类算法将源数据分为噪声数据和非噪声数据，从而将噪声数据过滤掉，然而，爬取的网络数据是复杂的且不规范的，通过分类算法进行过滤，其时间成本高，且难以有对源数据进行有效的清洗，无法保证数据过滤的准确率和召回率。

发明内容

本发明旨在至少解决上述问题之一，提供一种垂直领域源数据的过滤方法，高效过滤数据且保证过滤的准确性和召回率。

为实现上述目的，本发明有如下技术方案：

一种垂直领域源数据的过滤方法，包括：

配置过滤流程，过滤流程包括依次执行的匹配规则和过滤模型；

根据过滤流程，对源数据进行规则匹配，若符合所述匹配规则，则过滤流程停止；否则，

利用所述过滤模型继续对所述源数据进行过滤。

可选地，所述匹配规则包括关键词白名单匹配规则和黑名单匹配规则；则，所述对源数据进行规则匹配，包括：

根据所述关键词白名单匹配规则，判断源数据中是否存在关键词白名单中的词条，若是，则认为源数据为有效数据，且过滤流程停止；否则，

根据所述黑名单匹配规则，继续判断源数据中是否存在黑名单中的词条，若是，则认为所述源数据为无效数据。

可选地，所述匹配规则还包括URL白名单匹配规则，则，判断源数据中是否存在白名单中的词条之前，还包括：

根据所述URL白名单匹配规则，判断获取源数据的URL是否存在于URL白名单中，若是，则认为源数据为有效数据，且过滤流程停止；否则，

进入判断源数据中是否存在关键词白名单中的词条的步骤中。

可选地，所述过滤模型包括依次执行的多个子过滤模型，则，利用所述过滤模型继续对所述源数据进行过滤，包括：依次利用各子过滤模型对源数据进行过滤，若当前子过滤模型输出分类结果，则停止过滤流程，否则，继续利用下一个子过滤模型对所述源数据进行过滤。

可选地，所述过滤模型包括多条过滤支路，每条过滤支路包括依次执行的多个子分类过滤模型，每个子分类过滤模型通过不同的样本进行训练而获得，则，利用所述过滤模型继续对所述源数据进行过滤，包括：