[发明专利]一种物联网感知大数据的缓存设计和查询方法

说明书

本发明公开了一种物联网感知大数据的缓存设计和查询方法，感知数据存储层，存储感知设备采集的原始感知数据；中观感知数据层，存储从原始感知数据中分析计算得到的小数据量不同粒度大小的较高价值密度数据，该层数据可满足大部分查询和统计；中间结果缓存层，存储从中观感知数据层和原始数据层查询和统计的中间结果、报表和查询条件；中观感知数据层接收查询请求，在已有数据上进行查询，并选择是否下发查询请求到感知数据存储层；再逐级汇总查询结果返回。本发明极大地减少了查询时计算所需数据量，减少了对原始感知数据存储的访问次数，提高查询返回的速度，达到近实时查询的效果。

技术领域

本发明属于计算机大数据技术领域，涉及一种针对物联网感知大数据的缓存设计和查询方法。

背景技术

物联网(Internet ofThings，IoT)是指通过各种信息传感设备，实时采集任何需要监控、连接、互动的物体或过程等各种需要的信息，与互联网结合形成的一个巨大网络，其目的是实现物与物、物与人，所有的物品与网络的连接，方便识别、管理和控制。物联网产业具有产业链长、涉及多个产业群的特点，其应用范围几乎覆盖了各行各业。

随着物联网技术及其相关应用的飞速发展，如何有效地存储、查询与分析海量的物联网感知数据成为了一个亟待解决的关键问题。物联网感知数据是指在物联网系统中，各种感知设备动态采集的采样数据。数据显示，互联网上的数据每年增长50％，每两年便翻一番，而目前世界上90％以上的数据是最近几年才产生的。根据IDC(国际数据公司)的监测统计，预计到2020年全球将总共拥有35ZB的数据量，是2011年数据总量的20倍。在数据正成为最核心的资源的今天，各行业每天产生海量的感知数据，例如在交通运输行业中的智能交通监测方面，北京市目前用于GPS位置信息及道路实时监控的设备有60余万个，每天产生的交通感知数据在3PB左右。

为了提高对感知大数据的查询速度，业界主要从以下五方面进行优化。(1)列存储：以HBase、Hive、Cassandra为代表的列存储模型正受到越来越多的关注，相比于行存储数据库，列存储数据库在涉及某些列的聚集查询时，可以有效减少IO，同时提升数据的压缩率。(2)计算能力的横向扩展：以MapReduce、Spark、Storm为代表的大规模分布式计算框架实现了查询任务的并行执行。(3)算法性能的优化：面对超大的数据规模时，数据密集型的计算任务的算法时间复杂度要求，必须是线性或者近线性，甚至亚线性，这就需要对针对传统数据库的统计分析算法进行重新设计，在物联网环境中，算法性能的优化面临相当大的挑战。(4)内存数据库：以Redis、RAMCloud、Memcached为代表的内存数据库，通过使用内存实现数据存储，用作数据缓存，提高吞吐量和减低延迟。(5)索引的优化：对存储的的数据构建索引，以实现高性能的数据检索服务。

然而现有的物联网、大数据处理技术或产品多聚焦在信号传输和原始感知数据存储方法，未能及时将这些具有极高隐含价值的感知大数据进行有效的分析和利用。由于数据的海量特性，在原始感知数据上进行以上优化依然难以达到近实时的要求。在计算方面，即使算法时间复杂度达到线性要求，在目标数据量大的情况下速度依然难以达到秒级查询。在缓存方面，传统方法通过使内存存放常用查询数据来提高查询速度，但在大范围数据查询时，必须从数据存储系统读取大量原始感知数据。在索引方面，通过建立索引缩小了扫描范围，但原始数据的海量特性决定了要扫描的数据量依然庞大，尤其涉及大范围查询计算时。因此通过上述优化依然难以应对物联网感知数据的海量特性，要实现针对物联网感知大数据的近实时查询，对这些关键技术问题有待进一步研究。

发明内容

针对上述尚没有解决的关键问题，本发明提供了一种物联网感知大数据的缓存设计和查询机制，实现感知大数据的近实时查询，主要通过在业务系统和原始感知数据存储系统之间添加中间结果缓存层和中观感知数据层来达到查询提速的效果。