[发明专利]一种海量数据分布式采集方法及系统

说明书

本发明涉及数据采集技术领域，提供了一种海量数据分布式采集方法及系统，该方法包括如下步骤：获取待采集的海量数据集；按业务需求将所述海量数据集划分为多个业务模块；对各业务模块进行重要等级划分，得到各业务模块的重要等级；设置各业务模块中的数据的采集优先级；根据所述各模块的重要等级和所述数据的采集优先级得到数据采集次序，根据所述数据采集次序进行分布式数据采集。本发明基于业务模块的重要等级与模块中数据的采集优先级得到的采集次序，在获取边缘设备海量数据时，通过采集次序值进行分布式数据采集，提升数据采集效率并保证数据处理质量。

技术领域

本发明涉及数据采集技术领域，具体是一种海量数据分布式采集方法及系统。

背景技术

在制造业，随着工业互联网时代的到来，数据采集是实现万物互联的基础，一般系统通过边缘设备对硬件设备进行数据采集，然后上传至云服务端进行处理和展示，而面对海量数据，传统数据采集方式效率较低，无法响应快速变化的需求。例如设备温度监测曲线，传统的数据采集方法，每次都重复采集设备的整套数据，绝大多数的采集数据对需求并无用处，并且对服务器的性能是个巨大的考验，特别是在网络状况差的情况下，负载更为严重，大大增加数据展示和处理质量失败的可能性，直接影响用户体验性。

发明内容

为了解决传统数据采集方法效率低且无法响应需求快速变化的技术问题，本发明提供一种海量数据分布式采集方法及系统，能够根据业务需求的紧迫性选择性的进行数据采集，保证数据采集效率及质量。

为了实现上述目的，本发明提供一种海量数据分布式采集方法，包括以下步骤：

步骤1、获取待采集的海量数据集；

步骤2、按业务需求将所述海量数据集划分为多个业务模块；

步骤3、对各业务模块进行重要等级划分，得到各业务模块的重要等级；

步骤4、设置各业务模块中的数据的采集优先级；

步骤5、根据所述各业务模块的重要等级和所述数据的采集优先级得到数据采集次序，根据所述数据采集次序进行分布式数据采集。

优选地，所述数据采集次序满足：

F＝T+K

其中，T为重要等级，K为数据的采集优先级，F为数据采集次序；

当F≥6时，采集次序为优先，当3≤F≤5时，采集次序为次优先，当F≤2时，采集次序为普通。

优选地，所述各业务模块的重要等级划分为：非常重要、重要、一般和不重要，对应数值为4、3、2、1。

优选地，设置各业务模块中的数据的采集优先级由高到低，采集优先级依次减小，对应数值为4、3、2、1。

优选地，在所述根据所述数据采集次序进行数据采集的过程中，还包括：

将当前采集的数据进行显示；

将当前采集的数据进行传输；

将当前采集的数据进行存储。

此外，为了实现上述目的，本发明还提供了一种海量数据分布式采集系统，包括数据采集设备与云服务端；

所述数据采集设备包括以下模块：

获取模块，用于获取待采集的海量数据集；

分级模块，按业务需求将所述海量数据集划分为多个业务模块；并对各业务模块进行重要等级划分，得到各业务模块的重要等级；

设置模块，用于设置各业务模块中的数据的采集优先级；