[发明专利]一种IOT大数据实时时序流分析应用技术方法

说明书

本发明公开了一种IOT大数据实时时序流分析应用技术方法，其特征在于：包括以下步骤：步骤一：海量数据库建库：S1：对原始数据解析；S2：数据分类结构化存储；S3：数据对象映射到数据库结构建立海量数据库；S4：建立海量数据库索引；S5：低实时性分析服务；步骤二：实时数据分析：S6：缓存产生的海量数据；S7：实时统计分析服务；S8：缓存分析结果。本发明设计合理，引入数据流存储和实时分析流数据手段，将二者有机结合、优势互补的方案，解决海量实时时序数据存储，加快数据查询分析的同时，并为数据实时分析资源调度的技术提供支撑能力。

技术领域

本发明基于大数据实时时序流分析技术的应用领域，具体涉及一种IOT大数据实时时序流分析应用技术方法。

背景技术

大数据实时时序流分析(Real-time Series FlowAnalysis OfBig Data)的概念是将收集到的海量时序数据根据数据特性，结合领域或者业内的相关知识进行建模与分析，挖掘大数数据中存在的价值，以便于决策者更好地做出决策。在技术逻辑上，大数据实时时序流分析可分为“实时数据收集存储+数据实时分析”。实时数据实时收集存储技术是直接在数据源头对数据进行ETS(Extract-Transform-Save)操作，通过对数据经过提取、转换，最终根据各类数据的属性特征及时序特征对产生的海量数据进行结构化的分布式流存储。而数据实时数据分析技术通过对采集到的实时时序数据按照领域或者业内的相关知识对数据进行实时分析，及时高效的挖掘其价值，以一种更友好的形式实时展示给管理者，以便于发现存在的问题、价值，以及更好的做出决策。大数据的实时收集存储与数据实时分析可视化两者互补，数据的实时收集存储，确保数据的及时性和有效性，在此基础上结合数据的实时分析可视化分析，极大地提升了海量数据分析结果的实时性。在以大数据、物联网、5G为核心的数字化浪潮席卷全球的形势下，大数据实时时序流分析通过统一的数据平台将各领域不同维度的时序数据进行结构化、标准化整合，并对获取到的数据实时分析。通过实现海量数据可存储，海量数据的快速高效查询，海量数据实时分析统计监测，并可通过机器学习和仿真模拟挖掘规律、进行预测，使得海量数据能够为技术、管理人员和其他知识工作者提供了理解数据的新方法，可以显著的提高他们掌握隐藏在数据中的信息的能力，便于运维和管理人员的迅速感知，做出明智决策。

目前基于大数据的物联网应用必然会面对海量、实时数据的高效查询分析统计问题，普通应用方式存在海量的数据存储、高效实时的数据查询统计、分析资源调度、数据实时分析等诸多方面的问题和挑战：

对海量数据存储问题：随着技术的不断发展，现有的各类系统日产生数据量从MB上升至GB，甚至TB量级。对于单个IOT设备，假设每秒产生一百个字节数据量，一天产生的数量大约为85MB,加之系统平台体量涵盖几百至几万的物联设备，整体物联设备数据属于海量级别，用传统方式存储容量扩展必然遇到瓶颈和难度；

对高效查询统计分析问题：由于各类平台面临的海量数据问题，在存储的原始数据上，数据动态查询存在瓶颈和难度，数据分析所需的各种计算性能同样受到影响，传统数据存储方式无法高效、快速的查询分析数据，技术指标达不到2000万条/秒(单核，16字节每记录，全内存)；

对分析资源调度问题：各类系统产生数据的时间点不尽相同，数据量也是很难计算的，这也是大数据的一大特点，不确定性，所以需要一种动态的响应机制，对有限的计算、存储资源合理的配置及调度，如何以最小的成本或得最理想，最快速的分析结果；

对数据实时分析问题：很多系统大数据分析，都是对所需数据源的数据进行抽取和集成，从中提取出数据的实体和关系，经过关联和聚合之后采用统一定义的结构来存储数据，再对所有数据特征进行分析处理，这样分析出来的结果会缺乏实时性，这将无法满足实时性要求较高的分析；

为此，我们提出一种IOT大数据实时时序流分析应用技术方法。

发明内容