[发明专利]一种适用于物联网时序数据的差分云存储方法和系统

说明书

本发明公开了一种适用于物联网时序数据的差分云存储方法和系统，涉及物联网技术领域，包括以下步骤：上报新数据；查看是否存在base数据，若不存在base数据，则将上报的新数据存储为base数据并存储至数据库；否则将上报的新数据更新为base数据；计算上报的新数据与原base数据的差值作为一阶差分算子；计算一阶差分算子的变化率，并更新一阶差分算子标识；将所述一阶差分算子及一阶差分算子标识共同存储至数据库。本发明将周期性上报的数据通过一阶差分算子存至数据库的对应字段中，其他的字段不需要存储，节省存储空间；同步存储一阶差分算子标识，用以标识数据的突变性；可以快速筛选出发生突变的时间点，对时间的突变周期进行预测。

技术领域

本发明涉及物联网技术领域，尤其涉及一种适用于物联网时序数据的差分云存储方法和系统。

背景技术

物联网（The Internet of Things，简称IOT）是一个基于互联网、传统电信网等的信息载体，它让所有能够被独立寻址的普通物理对象形成互联互通的网络。通过各种信息传感器、射频识别技术、全球定位系统、红外感应器、激光扫描器等各种装置与技术，实时采集任何需要监控、链接、互动的物体或过程，采集其声、光、热、电、力学、化学生物、位置等各自需要的信息，通过各类可能的网络接入，实现物与物、物与人的泛在链接，实现对物品和过程的智能化感知、识别和管理。

物联网是当前最具发展潜力的技术潮流，到2020年全球将有200亿-2000亿物联网设备。物联网设备不仅体量大，且厂家各异，数据格式多样。物联网设备连接上云平台后，会源源不断地将数据发送到云平台。管理众多的联网设备产生的（动态）数据，相比管理传统档案（静态）数据要复杂很多，最重要的难点是“数据量”大幅提升和“处理实时性”要求显著加强。

数据量：数据量提升包含数据总量和数据产生速度两个方面。物联网应用系统演化过程中，传感器数量不断增多；数据采样频率不断提升；数据积累时间也越来越久，因此产生的数据量非常大（动即十亿、百亿、千亿存储规模），而且数据产生速度也非常快（动即每秒十万、百万纪录）。

实时性：传感器时序数据很多时候用于异常预警、趋势预测等目的，要求能根据数据立刻做出反应。

因此数据必须能实时查询、实时分析。同时当前IOT数据库的备选技术手段的优势和不足：

关系数据库：具备复杂检索能力，但受限于数据存储规模和录入速度不足；

NOSQL 数据库：具备可扩展性和高性能，但受限于检索和分析能力不足；

HADOOP：具备数据分析能力和可扩展性，但受限于数据处理实时性不足；

现有的云存储平台普遍使用编码方式来组织和存储数据，存在的问题有：

通过增加数据冗余来增强系统的容错能力,保障数据安全性和服务可靠性。

现有系统一般采用通用型数据管理系统（Database Management System，DBMS），查询效率低。

发明内容

本发明的目的在于提供一种适用于物联网时序数据的差分云存储方法和系统，通过差分存储法来优化物联网数据的备份、传输、和分析，特别适用于有一定动态规律、周期性上报的物联网设备数据的存储。

为实现上述目的，本发明提供如下技术方案：

一种适用于物联网时序数据的差分云存储方法，包括以下步骤：

S1，上报新数据；

S2，查看是否存在base数据，若不存在base数据，则将上报的新数据存储为base数据并存储至数据库；否则将上报的新数据更新为base数据，同时进入S3；

S3，计算上报的新数据与原base数据的差值作为一阶差分算子；