[发明专利]一种实时数据处理方法

说明书

本发明公开一种实时数据处理方法，采用多级缓存的层级划分，对于设备采集的数据而言，以数据采集所设定的周期作为缓存层级划分的依据；各层级缓存将持久化存储与实时存储结合起来，提高实时性和稳定性；采用任务队列方式实现对数据的缓存，并可以对数据的最大缓存周期进行设置，对于超过最大缓存周期的数据进行删除，从而实现数据缓存以及数据管理的功能。

技术领域

本发明涉及工业自动化控制技术领域，尤其涉及一种实时数据处理方法。

背景技术

随着工业互联网技术的快速发展，网络边缘设备产生的数据量快速增加，这些数据包括从数控机床、PLC、工业机器人等各种产品和生产设备中采集到的运行数据、设备的状态数据、生产的工艺过程数据、质量检验数据等。而工业互联网对于上传至云端的数据需快速、稳定，适应各种网络应用环境，在多种通信网络中实现无缝切换，且能避免出现数据丢包、数据失真等问题。如何能够有效地避免大量工业数据接入工业互联网之后，堵塞在云端的数据接口处，而影响工业互联网的应用性能，是工业互联网必须解决的重大问题。

发明内容

本发明的目的在于提供一种实时数据处理方法,用以缓解工业互联网中因边缘设备实时产生的大量数据传输至云端给网络带宽带来的巨大压力的问题。

本发明采用的技术方案是：

一种实时数据处理方法，其包括以下步骤：

步骤1，获取系统配置文件检查是否到达数据备份周期；是则，将数据备份任务添加至内存任务队列末尾；否则，等待备份周期到达；

步骤2，依次从任务队列头部执行数据备份任务，并获取当前数据备份任务对应的所有数据节点的数据采集周期；

步骤3，根据数据采集周期的不同分别构建对应的缓存层级，并将同一数据采集周期的数据点划归同一缓存层级；

步骤4，每个缓存层级获取数据进行实时存储，将数据以应数据结构缓存至内存作为直接的数据源；

步骤5，将缓存在内存中的数据以快照方式写入硬盘文件进行持久化存储，

步骤6，获取数据备份任务允许的数据库最大缓存周期，判断数据库时间与当前时间的间隔是否超过最大缓存周期；是则，删除超出时间范围的数据文件并存入新数据文件；否则，将新数据文件存入数据库；

步骤7，每个缓存层级将已完成缓存备份的所有数据以时间特性统一打包并上传至上级节点；

步骤8，上级节点检查获取的数据是否有丢失；是则，通知各个缓存层级进行数据补偿；否则，完成当前节点的数据备份和采集。

进一步地，步骤4中针对关键数据采用定时加载方式定期将磁盘数据缓存至实时缓存区；针对普通数据采用补充方式将数据按照长周期刷新至普通缓存区。

进一步地，步骤5中依照设定的策略自动进行数据的快照持久保存。

进一步地，设定策略为每60秒达到100个数据更新时进行数据的快照持久保存。

进一步地，步骤8中数据补偿时将各个缓存层级的存储数据作为数据源采用异步消息的方式进行数据补偿。

进一步得，数据补偿的具体步骤为：

步骤8-1，上级节点通知云端开启数据补偿通道；

步骤8-2，上级节点向下级缓存层级发出补偿指令；

步骤8-3，下级缓存层级依照丢失数据的来源路径向下索引确定数据所在节点；

步骤8-4，丢失数据所在节点从缓冲区或数据库中获取丢失数据并重新打包上传完成数据补偿。