[发明专利]一种基于大数据模型的物联中台系统搭建方法

说明书

本发明公开了一种基于大数据模型的物联中台系统搭建方法，包括以下步骤：(S1)选择消息中间件Kafka作为数据采集和物联中台的中间桥梁，用于接收物联感知系统接入的设备数据；(S2)选择Flink分布式数据处理引擎对Kafka接收的不同设备的数据进行清洗过滤、规则匹配；(S3)选择分布式计算引擎Spark批次抽取IoTDB不同设备的数据；(S4)选择Atlas工具构建元数据管理体系，对业务元数据、技术元数据和操作元数据进行管理；(S5)二次开发AJ‑Report进行数据报表可视化展示。本发明方法构建的物联中台系统可扩展性和维护性更好，比较容易扩展节点，且统一数据接入、出口和使用规范，能够适应各个数据需求方的使用场景，不用重复造轮子和定制化开发，降低人员和维护成本。

技术领域

本发明属于计算机领域，具体地说，是一种基于大数据模型的物联中台系统搭建方法。

背景技术

随着经济社会的高速发展，科学技术的进步，人们在联网科技设备上交流越来越频繁，产生的数据信息越来越多，为了利用好数据，充分发挥数据的价值，大数据技术就是在这一环境下的技术产物。

万物互联的时代，用户通过物联网技术来实现人与物、物与物之间的链接和数据交换与控制，并利用信息和通信技术来提升物联技术的功能。人们可以使用智能装置和感知技术，采集装置数据，同时通过技术手段，实现对物理世界的控制，辅助做出明智的决策。

使用物联网技术能够收集、转发终端设备的实时数据，然后使用大数据技术对海量数据进行转换、存储、分析，为管理者提供有效地数据支撑，并发现问题，解决问题。

传统的物联网中台架构无法满足海量数据的存储和查询分析，扩展性比较差，对数据的多样式存储不能很好的满足且系统的稳定性和实时性得不到保证。

发明内容

本发明的目的在于提供一种基于大数据模型的物联中台系统搭建方法，主要解决现有物联网中台架构扩展性差及系统无法保证稳定性和实时性的问题。

为实现上述目的，本发明采用的技术方案如下：

一种基于大数据模型的物联中台系统搭建方法，包括以下步骤：

(S1)选择消息中间件Kafka作为数据采集和物联中台的中间桥梁，用于接收物联感知系统接入的设备数据；

(S2)选择Flink分布式数据处理引擎对Kafka接收的不同设备的数据进行清洗过滤、规则匹配，并将设备数据发送到Clickhouse的设备信息表中，设备的日志数据发送到IoTDB中；

(S3)选择分布式计算引擎Spark批次抽取IoTDB不同设备的数据，动态分区，动态创建hive表，将数据加载到hive用作离线分析使用，并利用hadoop的纠删码特性归档冷数据；

(S4)选择Atlas工具构建元数据管理体系，对业务元数据、技术元数据和操作元数据进行管理；

(S5)二次开发AJ-Report进行数据报表可视化展示，构建属于适合本中台的可拖拽、可快速构建物联设备数据、集群状态信息的可视化展示平台。

进一步地，在本发明中，所述业务元数据包括数据库表和业务规则；所述技术元数据包括数据库对象属性、任务执行信息和上下游依赖数据；所述操作元数据包括批处理的执行日志和报表访问数据。

进一步地，在本发明中，在步骤(S2)中，Flink分布式数据处理引擎对数据的处理过程如下：在Kafka规则rule_topic中解析规则字符串为可用规则，在Kafka设备日志topic中解析日志数据需要匹配的字段；将解析的可用规则及字段发送到siddhi规则引擎中，利用flink_job根据规则匹配生成的事件输出到Kafka_topic中。