[发明专利]一种大数据遗漏率分析方法

说明书

本发明提出了一种大数据遗漏率分析方法，包括：步骤S1，设置多线程任务方式采集目标采集源中的大数据，对采集任务设置优先级策略，根据优先级进行数据采集；其中，在对所述目标采集源进行初次采集时，采用预设参数设置方式对数据采用逐条逐页采集，直至所述目标采集源中的数据全部采集完成；步骤S2，对所述步骤S1中已经采集过的目标采集源中的数据源网站设置增量采集模式和定时检测任务，实现对上述数据源网站中新增数据和更新数据的补充采集；步骤S3，对采集到的数据进行分析，统计遗漏率P。本发明，可以实现目标领域单位数据源数据采集无遗漏。

技术领域

本发明涉及大数据分析技术领域，特别涉及一种大数据遗漏率分析方法。

背景技术

大数据(big data)，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

大数据的分析、价值挖掘基于对目标领域数据全面的储备。而如何对数据源的数据进行全部采集，对新增数据补采，对于更新数据的跟踪，是大数据行业都面临的难题。

发明内容

本发明的目的旨在至少解决所述技术缺陷之一。

为此，本发明的目的在于提出一种大数据遗漏率分析方法。

为了实现上述目的，本发明的实施例提供一种大数据遗漏率分析方法，包括如下步骤：

步骤S1，设置多线程任务方式采集目标采集源中的大数据，对采集任务设置优先级策略，根据优先级进行数据采集；其中，在对所述目标采集源进行初次采集时，采用预设参数设置方式对数据采用逐条逐页采集，直至所述目标采集源中的数据全部采集完成；

步骤S2，对所述步骤S1中已经采集过的目标采集源中的数据源网站设置增量采集模式和定时检测任务，实现对上述数据源网站中新增数据和更新数据的补充采集；

步骤S3，对采集到的数据进行分析，统计遗漏率P，包括：

公布型遗漏率分值p1：(1-采集数据总量/公布数据总量)*100％，公布型遗漏率权值w1；

查询型遗漏率分值p2：(1-抽查已采集数/抽查样本数据总量)*100％，查询型遗漏率权值w2；

同行同数据对比分值p3：采集数据量/同行数据总量*100％，同行同数据对比权值w3；

P＝p1*w1+p2*w2+p3*w3。

进一步，在所述步骤S1中，所述优先级策略的采集顺序由高到低依次为：特殊队列、标准队列、蜗牛队列，

其中，标准队列是处于日常采集活动的队列；蜗牛队列是数据需求不紧急的采集队列；特殊队列是需要紧急采集，数据源网站不稳定的采集队列。

进一步，在所述步骤S1中，所述预设参数设置方式，包括：

输入目标采集源的URL地址、全采集模式和采集优先级测量；设置对目标采集源的数据源完整翻页方式、翻页起始页，翻页结束页，页面类型；设置采集模式和调度方式。

进一步，设置翻页方式：get、post、delete、put、options；

设置页面类型：列表、详情、json；

设置页面编码：utf-8、gbk、gb2312。

进一步，在所述步骤S1，对于目标采集源中暂时不能访问的数据源网站，开启采取时时监控任务监控网站状态，当监控器访问正常或访问量较小时多，执行线程采集。

进一步，对已经采集过的数据源网站，以预设周期进行定期重采补漏方式。