[发明专利]一种海量数据分布式采集方法及系统

权利要求书

1.一种海量数据分布式采集方法，其特征在于，包括以下步骤：

步骤1、获取待采集的海量数据集；

步骤2、按业务需求将所述海量数据集划分为多个业务模块；

步骤3、对各业务模块进行重要等级划分，得到各业务模块的重要等级；

步骤4、设置各业务模块中的数据的采集优先级；

步骤5、根据所述各业务模块的重要等级和所述数据的采集优先级得到数据采集次序，根据所述数据采集次序进行分布式数据采集。

2.如权利要求1所述的海量数据分布式采集方法，其特征在于，所述数据采集次序满足：

F＝T+K

其中，T为重要等级，K为数据的采集优先级，F为数据采集次序；

当F≥6时，采集次序为优先，当3≤F≤5时，采集次序为次优先，当F≤2时，采集次序为普通。

3.如权利要求1所述的海量数据分布式采集方法，其特征在于，所述各业务模块的重要等级划分为：非常重要、重要、一般和不重要，对应数值为4、3、2、1。

4.如权利要求1所述的海量数据分布式采集方法，其特征在于，设置各业务模块中的数据的采集优先级由高到低，采集优先级依次减小，分为：四级、三级、二级、一级，对应数值为4、3、2、1。

5.如权利要求1所述的海量数据分布式采集方法，其特征在于，在所述根据数据采集次序进行分布式数据采集的过程中，还包括：

将当前采集的数据进行显示；

将当前采集的数据进行传输；

将当前采集的数据进行存储。

6.一种海量数据分布式采集系统，采用如权利要求1-5任一项所述的海量数据分布式采集方法，其特征在于，包括数据采集设备与云服务端；

所述数据采集设备包括以下模块：

获取模块，用于获取待采集的海量数据集；

分级模块，用于按业务需求将所述海量数据集划分为多个业务模块；并对各业务模块进行重要等级划分，得到各业务模块的重要等级；

设置模块，用于设置各业务模块中的数据的采集优先级；

采集模块，用于根据所述各业务模块的重要等级和所述数据的采集优先级得到数据采集次序，根据所述数据采集次序进行分布式数据采集；

所述云服务端包括以下模块：

显示模块，用于将当前采集的数据进行显示；

传输模块，用于将当前采集的数据进行传输；

存储模块，用于将当前采集的数据进行存储。