[发明专利]数据汇集方法、装置、系统及存储介质

说明书

本发明提供一种数据汇集方法、装置、系统及存储介质，该方法，应用在包含末端汇集节点、中间汇集节点、终端汇集节点的系统中，该方法包括：通过所述末端汇集节点采集初始数据，并将所述初始数据上传至所述中间汇集节点；通过所述中间汇集节点根据业务需求对所述初始数据进行过滤处理，得到中间数据，并将所述中间数据上传至所述终端汇集节点；通过所述终端汇集节点对所述中间数据进行过滤处理，得到目标数据。从而能够对数据进行分层处理，减少高层级的数据处理量，使得数据具备可追溯性，便于进行数据管理，通用性强。

技术领域

本发明涉及大数据技术领域，尤其涉及一种数据处理方法、装置、系统及存储介质。

背景技术

随着工业化进程的发展，工业控制过程中产生的数据量也越来越大。为了对工业生产过程进行有效的管控，需要对大量数据进行汇集处理。

目前的数据汇集系统，一般是针对特定的技术场景设计的，然后由管理人员对汇集的数据进行人工过滤处理。

但是，这种方式设计的系统，耦合性强，通用性差。在进行数据汇集时，由于业务流程不规范，导致采集到的数据混杂，极大地增加了后期数据处理的运算量。

发明内容

本发明实施例提供一种数据汇集方法、装置、系统及存储介质，能够对数据进行分层处理，减少高层级的数据处理量，使得数据具备可追溯性，便于进行数据管理，通用性强。

第一方面，本发明实施例提供一种数据汇集方法，应用在包含末端汇集节点、中间汇集节点、终端汇集节点的系统中，所述方法包括：

通过所述末端汇集节点采集初始数据，并将所述初始数据上传至所述中间汇集节点；

通过所述中间汇集节点根据业务需求对所述初始数据进行过滤处理，得到中间数据，并将所述中间数据上传至所述终端汇集节点；

通过所述终端汇集节点对所述中间数据进行过滤处理，得到目标数据。

在一种可能的设计中，通过所述末端汇集节点采集初始数据，并将所述初始数据上传至所述中间汇集节点，包括：

根据预设的采集频率，采集所述初始数据；

向所述中间汇集节点发送授时请求；

接收所述中间汇集节点发送的时间信息；

通过所述时间信息，进行时间校对，以使得所述末端汇集节点的时间与所述中间汇集节点的时间保持一致；

对所述初始数据进行打包，得到第一数据包；

根据采集时间顺序对所述第一数据包进行序列化处理后，将所述第一数据包依次上传至所述中间汇集节点。

在一种可能的设计中，通过所述中间汇集节点根据业务需求对所述初始数据进行过滤处理，得到中间数据，并将所述中间数据上传至所述终端汇集节点，包括：

按照时间顺序，分别获取同一时间上传的所有所述第一数据包；

对所述第一数据包进行过滤处理，滤除与所述业务需求不相关的数据，得到所述中间数据；

将所述中间数据进行打包，得到第二数据包；

根据时间顺序对所述第二数据包进行序列化处理后，将所述第二数据包依次上传至所述终端汇集节点。

在一种可能的设计中，在对所述第一数据包进行过滤处理，滤除与所述业务需求不相关的数据，得到所述中间数据之后，还包括：

对所述中间数据进行汇总之后，存入关系型数据库中；

根据用户输入的第一查询请求，生成所述中间数据对应的数据报表。