[发明专利]工业数据分级存储系统、方法及工业数据分级查询方法

说明书

本申请公开了工业数据分级存储系统、方法及工业数据分级查询方法，该系统包括一级缓存模块、二级缓存模块及数据存储模块，不仅将设备数据和业务数据分开存储，而且根据数据的查询时间或频率，设置了一级缓存模块及二级缓存模块，实现了数据的分级存储管理，通过将热门点位及热门业务报表存储在一级缓存模块中，进行针对性的缓存预热，使得用户查询这些高频使用的热门点位或热门业务报表时能够得到极快速度的响应，大幅提升数据查询效率。

技术领域

本申请涉及工业数据处理技术领域，尤其涉及工业数据分级存储系统、方法及工业数据分级查询方法。

背景技术

工业生产过程中，通常会生成两种数据，一种是由各种工业设备所产生的设备数据，例如构成工业设备的各组件的温度数据、压强数据或开关信号数据等，另一种是由生产业务系统所产生的业务数据，例如产量数据、物流数据及订单数据等。

目前使用大数据平台存储工业生产过程中生成的各类数据，对于设备数据，通常是由工业IOT平台现场采集并上传至大数据平台，对于业务数据，通常是由数据抽取工具从各业务系统中复制并上传至大数据平台。参见图1，工业IOT平台采集n个工业设备所产生的设备数据上传至大数据平台的时序数据库中，数据抽取工具针对m个业务系统进行数据抽取，并将抽取所得的业务数据上传至大数据平台的业务数据仓库中。

实际工业场景中，按照被查询频率，工业数据又分为热数据和冷数据，目前的大数据平台只是将设备数据及业务数据分别存储至两个数据库中，并未根据数据的冷热程度做区别管理，冷热数据杂糅在一起，导致用户查询相关数据时的效率十分低。

发明内容

为了提高工业生产过程中，用户对设备数据及业务数据的查询效率，本申请通过以下实施例公开了工业数据分级存储系统、方法及工业数据分级查询方法。

本申请第一方面公开了一种工业数据分级存储系统，包括一级缓存模块、二级缓存模块及数据存储模块，所述数据存储模块设置有时序数据库及业务数据仓库，所述时序数据库用于接收工业IOT平台发送过来的设备数据，所述业务数据仓库用于接收数据抽取工具发送过来的业务数据；所述设备数据包括多个点位及每个点位对应的标签数据，所述每个点位对应工业设备的一个组件，所述业务数据包括多个业务报表表名以及每个业务报表表名对应的报表数据；

所述二级缓存模块包括二级设备数据缓存单元及二级业务数据缓存单元；

所述一级缓存模块包括一级设备数据缓存单元及一级业务数据缓存单元；

所述二级设备数据缓存单元接至所述时序数据库，所述二级设备数据缓存单元中设置有设备Redis集群，所述设备Redis集群用于存储所述多个点位以及每个点位对应的最新标签数据；

所述二级业务数据缓存单元接至所述业务数据仓库，所述二级业务数据缓存单元中设置有业务Redis集群，所述业务Redis集群用于存储所述多个业务报表表名以及每个业务报表表名对应的最新报表数据；

所述一级设备数据缓存单元用于存储预设第一数量的热门点位及每个所述热门点位对应的最新标签数据，所述热门点位为根据最近被查询时间，预先从所述设备Redis集群的多个点位中选取所得；

所述一级业务数据缓存单元用于存储预设第二数量的热门业务报表表名及每个所述热门业务报表表名对应的最新报表数据，所述热门业务报表表名为根据被查询频率，预先从所述业务Redis集群的多个业务报表表名中选取所得。

可选的，所述二级缓存模块还包括布隆过滤器；所述布隆过滤器分别接至所述二级设备数据缓存单元、所述二级业务数据缓存单元；

所述布隆过滤器中映射有所述设备Redis集群中存储的所有点位及所述业务Redis集群中存储的所有业务报表表名；

所述一级设备数据缓存单元通过所述布隆过滤器，接至所述二级设备数据缓存单元；

所述一级业务数据缓存单元通过所述布隆过滤器，接至所述二级业务数据缓存单元。

可选的，所述工业数据分级存储系统还包括底层存储模块；