[发明专利]一种物联网感知大数据的缓存设计和查询方法有效
申请号: | 201810314923.2 | 申请日: | 2018-04-10 |
公开(公告)号: | CN108536823B | 公开(公告)日: | 2022-02-15 |
发明(设计)人: | 丁治明;蔺春华;郭黎敏;苏醒;曹阳 | 申请(专利权)人: | 北京工业大学 |
主分类号: | G06F16/2455 | 分类号: | G06F16/2455;G06F16/22;G06F16/27 |
代理公司: | 北京思海天达知识产权代理有限公司 11203 | 代理人: | 沈波 |
地址: | 100124 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 联网 感知 数据 缓存 设计 查询 方法 | ||
本发明公开了一种物联网感知大数据的缓存设计和查询方法,感知数据存储层,存储感知设备采集的原始感知数据;中观感知数据层,存储从原始感知数据中分析计算得到的小数据量不同粒度大小的较高价值密度数据,该层数据可满足大部分查询和统计;中间结果缓存层,存储从中观感知数据层和原始数据层查询和统计的中间结果、报表和查询条件;中观感知数据层接收查询请求,在已有数据上进行查询,并选择是否下发查询请求到感知数据存储层;再逐级汇总查询结果返回。本发明极大地减少了查询时计算所需数据量,减少了对原始感知数据存储的访问次数,提高查询返回的速度,达到近实时查询的效果。
技术领域
本发明属于计算机大数据技术领域,涉及一种针对物联网感知大数据的缓存设计和查询方法。
背景技术
物联网(Internet ofThings,IoT)是指通过各种信息传感设备,实时采集任何需要监控、连接、互动的物体或过程等各种需要的信息,与互联网结合形成的一个巨大网络,其目的是实现物与物、物与人,所有的物品与网络的连接,方便识别、管理和控制。物联网产业具有产业链长、涉及多个产业群的特点,其应用范围几乎覆盖了各行各业。
随着物联网技术及其相关应用的飞速发展,如何有效地存储、查询与分析海量的物联网感知数据成为了一个亟待解决的关键问题。物联网感知数据是指在物联网系统中,各种感知设备动态采集的采样数据。数据显示,互联网上的数据每年增长50%,每两年便翻一番,而目前世界上90%以上的数据是最近几年才产生的。根据IDC(国际数据公司)的监测统计,预计到2020年全球将总共拥有35ZB的数据量,是2011年数据总量的20倍。在数据正成为最核心的资源的今天,各行业每天产生海量的感知数据,例如在交通运输行业中的智能交通监测方面,北京市目前用于GPS位置信息及道路实时监控的设备有60余万个,每天产生的交通感知数据在3PB左右。
为了提高对感知大数据的查询速度,业界主要从以下五方面进行优化。(1)列存储:以HBase、Hive、Cassandra为代表的列存储模型正受到越来越多的关注,相比于行存储数据库,列存储数据库在涉及某些列的聚集查询时,可以有效减少IO,同时提升数据的压缩率。(2)计算能力的横向扩展:以MapReduce、Spark、Storm为代表的大规模分布式计算框架实现了查询任务的并行执行。(3)算法性能的优化:面对超大的数据规模时,数据密集型的计算任务的算法时间复杂度要求,必须是线性或者近线性,甚至亚线性,这就需要对针对传统数据库的统计分析算法进行重新设计,在物联网环境中,算法性能的优化面临相当大的挑战。(4)内存数据库:以Redis、RAMCloud、Memcached为代表的内存数据库,通过使用内存实现数据存储,用作数据缓存,提高吞吐量和减低延迟。(5)索引的优化:对存储的的数据构建索引,以实现高性能的数据检索服务。
然而现有的物联网、大数据处理技术或产品多聚焦在信号传输和原始感知数据存储方法,未能及时将这些具有极高隐含价值的感知大数据进行有效的分析和利用。由于数据的海量特性,在原始感知数据上进行以上优化依然难以达到近实时的要求。在计算方面,即使算法时间复杂度达到线性要求,在目标数据量大的情况下速度依然难以达到秒级查询。在缓存方面,传统方法通过使内存存放常用查询数据来提高查询速度,但在大范围数据查询时,必须从数据存储系统读取大量原始感知数据。在索引方面,通过建立索引缩小了扫描范围,但原始数据的海量特性决定了要扫描的数据量依然庞大,尤其涉及大范围查询计算时。因此通过上述优化依然难以应对物联网感知数据的海量特性,要实现针对物联网感知大数据的近实时查询,对这些关键技术问题有待进一步研究。
发明内容
针对上述尚没有解决的关键问题,本发明提供了一种物联网感知大数据的缓存设计和查询机制,实现感知大数据的近实时查询,主要通过在业务系统和原始感知数据存储系统之间添加中间结果缓存层和中观感知数据层来达到查询提速的效果。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京工业大学,未经北京工业大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810314923.2/2.html,转载请声明来源钻瓜专利网。
- 上一篇:数据迁移方法、装置、系统及存储介质
- 下一篇:一种数据处理方法及装置
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置