[发明专利]工业数据分级存储系统、方法及工业数据分级查询方法在审
申请号: | 202110256760.9 | 申请日: | 2021-03-10 |
公开(公告)号: | CN112685454A | 公开(公告)日: | 2021-04-20 |
发明(设计)人: | 李福存;薛灿;徐发喜;张波;荣慰;杨猛;李志勇;马超;鹿玮 | 申请(专利权)人: | 江苏金恒信息科技股份有限公司 |
主分类号: | G06F16/2455 | 分类号: | G06F16/2455;G06F16/28 |
代理公司: | 北京弘权知识产权代理有限公司 11363 | 代理人: | 逯长明;许伟群 |
地址: | 211500 江苏省南京市*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 工业 数据 分级 存储系统 方法 查询 | ||
1.一种工业数据分级存储系统,其特征在于,包括一级缓存模块、二级缓存模块及数据存储模块,所述数据存储模块设置有时序数据库及业务数据仓库,所述时序数据库用于接收工业IOT平台发送过来的设备数据,所述业务数据仓库用于接收数据抽取工具发送过来的业务数据;所述设备数据包括多个点位及每个点位对应的标签数据,所述每个点位对应工业设备的一个组件,所述业务数据包括多个业务报表表名以及每个业务报表表名对应的报表数据;
所述二级缓存模块包括二级设备数据缓存单元及二级业务数据缓存单元;
所述一级缓存模块包括一级设备数据缓存单元及一级业务数据缓存单元;
所述二级设备数据缓存单元接至所述时序数据库,所述二级设备数据缓存单元中设置有设备Redis集群,所述设备Redis集群用于存储所述多个点位以及每个点位对应的最新标签数据;
所述二级业务数据缓存单元接至所述业务数据仓库,所述二级业务数据缓存单元中设置有业务Redis集群,所述业务Redis集群用于存储所述多个业务报表表名以及每个业务报表表名对应的最新报表数据;
所述一级设备数据缓存单元用于存储预设第一数量的热门点位及每个所述热门点位对应的最新标签数据,所述热门点位为根据最近被查询时间,预先从所述设备Redis集群的多个点位中选取所得;
所述一级业务数据缓存单元用于存储预设第二数量的热门业务报表表名及每个所述热门业务报表表名对应的最新报表数据,所述热门业务报表表名为根据被查询频率,预先从所述业务Redis集群的多个业务报表表名中选取所得。
2.根据权利要求1所述的工业数据分级存储系统,其特征在于,所述二级缓存模块还包括布隆过滤器;所述布隆过滤器分别接至所述二级设备数据缓存单元、所述二级业务数据缓存单元;
所述布隆过滤器中映射有所述设备Redis集群中存储的所有点位及所述业务Redis集群中存储的所有业务报表表名;
所述一级设备数据缓存单元通过所述布隆过滤器,接至所述二级设备数据缓存单元;
所述一级业务数据缓存单元通过所述布隆过滤器,接至所述二级业务数据缓存单元。
3.根据权利要求1所述的工业数据分级存储系统,其特征在于,还包括底层存储模块;
所述底层存储模块分别接至所述时序数据库及所述业务数据仓库;
所述底层存储模块用于接收并存储所述时序数据库中位于预设第一时间节点之前的设备数据;
所述底层存储模块还用于接收并存储所述业务数据仓库中位于预设第二时间节点之前的业务数据。
4.一种工业数据分级存储方法,其特征在于,所述工业数据分级存储方法应用于权利要求1-3任一项所述的工业数据分级存储系统,所述工业数据分级存储方法包括:
将工业IOT平台发送过来的设备数据存储至时序数据库中,以及,将数据抽取工具发送过来的业务数据存储至业务数据仓库;
根据所述工业IOT平台发送过来的设备数据,更新设备Redis集群,以确保所述设备Redis集群中各个点位均对应最新的标签数据,以及,根据所述数据抽取工具发送过来的业务数据,更新业务Redis集群,以确保所述业务Redis集群中各业务报表表名均对应最新的报表数据;
根据更新后的设备Redis集群,更新一级设备数据缓存单元,以确保所述一级设备数据缓存单元中各热门点位均对应最新的标签数据,以及,根据更新后的业务Redis集群,更新一级业务数据缓存单元,以确保所述一级业务数据缓存单元中各热门业务报表表名均对应最新的报表数据。
5.根据权利要求4所述的工业数据分级存储方法,其特征在于,在所述根据更新后的设备Redis集群,更新一级设备数据缓存单元之前,所述工业数据分级存储方法还包括:
将更新后的设备Redis集群中的所有点位映射至布隆过滤器中;
在所述根据更新后的业务Redis集群,更新一级业务数据缓存单元之前,所述工业数据分级存储方法还包括:
将更新后的业务Redis集群中的所有业务报表表名映射至所述布隆过滤器中。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于江苏金恒信息科技股份有限公司,未经江苏金恒信息科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110256760.9/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置