[发明专利]一种大数据覆盖率采集分析方法

说明书

本发明提出了一种大数据覆盖率分析方法，包括：对目标领域的数据源进行分析，根据分析结果划分为常备通用领域数据或客户定制领域数据；在常备通用领域中，将数据源的收集优先级划分为五级；在客户定制领域中，根据客户需求高低、需求明确程度和数据量，将数据源的收集优先级划分为两级；采用智能引擎搜索的方式对数据源进行收集，其中，采用智能引擎搜索对数据源进行搜索，完成对数据源的初步收集，包括：配置URL规则、名称Name规则和主体body规则，然后开始采集任务；分别计算常备通用领域和客户定制领域中数据源的覆盖率。本发明对目标领域的数据源划定收集优先级，从而解决目标领域数据源太多，短期内无法收集完全的问题，提高收集效率。

技术领域

本发明涉及大数据分析技术领域，特别涉及一种大数据覆盖率采集分析方法。

背景技术

大数据(big data)，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

大数据发展越来越快，越全面，对商业和人们生活产生的影响越来越深刻。大数据的价值来源于对大量全面数据的分析而挖掘，而如何得到全面的数据是大数据行业共同面对的问题。

发明内容

本发明的目的旨在至少解决所述技术缺陷之一。

为此，本发明的目的在于提出一种大数据覆盖率采集分析方法。

为了实现上述目的，本发明的实施例提供一种大数据覆盖率采集分析方法，包括如下步骤：

步骤S1，对目标领域数据源进行分析，根据分析结果划分为常备通用领域数据或客户定制领域数据；

步骤S2，在所述常备通用领域中，根据数据量的数据源、权威性、收集难易度和主站及子站的优先级，将数据源的收集优先级划分为五级；

步骤S3，在所述客户定制领域中，根据客户需求高低、需求明确程度和数据量，将数据源的收集优先级划分为两级；

步骤S4，根据所述步骤S2和步骤S3划分的优先级，采用智能引擎搜索的方式对数据源进行收集，其中，采用智能引擎搜索对数据源进行搜索，完成对数据源的初步收集，包括如下步骤：配置URL规则、名称Name规则和主体body规则，然后开始采集任务；

步骤S5，计算常备通用领域数据的覆盖率或者客户定制领域数据的覆盖率，其中，

常备通用领域数据覆盖率总分值＝国家级数据源分值*国家级权值+大省大市级数据源分值*大省大市级权值+全省大市级数据源*全省大市级权值+全部地市级数据源分值*全部地市级权值+全部区县级数据源*全部区县级权值；

客户定制领域数据覆盖率总分值＝定向定制级数据源分值*定向定制级权值+非必需级数据源分值*非必需级权值。

进一步，在所述步骤S2中，所述将数据源的收集优先级划分为五级，由高到低依次为：

国家级：最高院、最高主管部门、最高机构发布的数据源；

大省大市级：十大省份/直辖市/副省级市的法院、主管部门、主管机构发布的数据源；

全省大市级：大省大市以外的全部省级和省会城市级的法院、主管部门、主管机构发布的数据源；

全部地市级：大市以外的全部地级市的法院、主管部门、主管机构发布的数据源；

全部区县级：全部县级市、县、镇级的法院，主管部门、主管机构发布的数据源。

进一步，在所述步骤S3中，将数据源的收集优先级划分为两级，由高到低依次为：

定向定制级：客户已明确提出的数据源；