[发明专利]应用于数据网关的离线数据过滤存储的方法及系统

说明书

本发明涉及数据处理技术领域，公开了一种应用于数据网关的离线数据过滤存储的方法及系统，解决了通讯故障时数据缓存能力较差的技术问题，其技术方案要点是在云平台的计算中心上，数据网关上送的数据首先会通过一些数据过滤规则过滤掉一些数据，再把过滤后的数据上送给云平台以应用到后期高级应用中。把一些简单的、对性能消耗影响小的数据过滤规则下放给数据网关，使得数据网关在通讯故障时可进行数据过滤，一方面分担了云平台计算中心的计算压力，另一方面会增强数据网关的缓存能力。

技术领域

本公开涉及数据处理技术领域,尤其涉及一种应用于数据网关的离线数据过滤存储的方法及系统。

背景技术

数据网关作为云生态的重要组成部分，主要任务之一是对接入设备进行数据采集和缓存。通常数据网关实时上送采集到的接入设备的数据，当通讯网络通路从故障断开恢复时，数据网关把缓存的且没有上送的数据，断点续传到边缘计算平台。由于存储能力是一定的，当数据网关的接入设备比较多或者采集的通道比较多的时候，数据网关所能缓存的时间可能会少于网络故障的时间长度，造成数据丢失，进一步影响后端的数据应用。目前流行的做法是“水平拓展”，通过增加数据网关的存储硬件的能力来解决，或者通过数据压缩的方法来解决该类问题。

通过扩展硬件能力的方法来增加缓存能力的做法一方面会增加成本，另一方面也会因为数据量的增加而影响数据的检索速度，虽然通过数据压缩的方法可以延长缓存时间，但是压缩和解压缩算法需要一定的硬件计算能力的消耗，更加严重的是数据网关的在线数据检索功能受到了很大影响。

发明内容

本公开提供了一种应用于数据网关的离线数据过滤存储的方法及系统，达到提高数据网关数据缓存能力的技术目的。

本公开的上述技术目的是通过以下技术方案得以实现的：

一种应用于数据网关的离线数据过滤存储的方法，包括：

云平台向数据网关下发配置指令；

所述数据网关根据所述配置指令完成配置，所述配置指令包括通讯中断检测配置、通讯恢复检测配置、数据过滤规则配置、触发数据过滤配置和注册数据过滤服务；

检测到通讯中断条件后，记录通讯中断时间点；

通讯中断后触发所述数据过滤服务，对中断数据集D进行过滤得到D'，将所述D'存储至数据缓存区；

检测到通讯恢复条件时，记录通讯连接时间点，所述数据网关重新建立与所述云平台的连接；

所述数据网关与所述云平台连接后，将所述D'上送给所述云平台；

所述D'全部上送完后，停止所述数据过滤服务；

其中，所述中断数据集D由中断数据点D_i组成，i为正整数；所述数据过滤服务使用过滤算法进行过滤。

进一步地，所述过滤算法为基于动态阈值的过滤算法，所述基于动态阈值的过滤算法的参数包括参考值y、上边界阈值y1、下边界阈值y2和迟滞值z，且其算法引擎的状态包括正常状态、上越界状态和下越界状态。

进一步地，所述中断数据点D_i对应有数据值a，所述算法引擎的状态为所述正常状态时，包括：

a>y1时，所述算法引擎更新为所述上越界状态，过滤掉所述中断数据点D_i，所述中断数据集D变为所述D'；

a<y2时，所述算法引擎更新为所述下越界状态，过滤掉所述中断数据点D_i，所述中断数据集D变为所述D'。

进一步地，所述算法引擎为所述上越界状态时，若a>y1-z，所述算法引擎维持所述上越界状态，过滤掉所述中断数据点D_i，所述中断数据集D变为所述D'。