[发明专利]一种基于大数据模型的物联中台系统搭建方法

权利要求书

1.一种基于大数据模型的物联中台系统搭建方法，其特征在于，包括以下步骤：

(S1)选择消息中间件Kafka作为数据采集和物联中台的中间桥梁，用于接收物联感知系统接入的设备数据；

(S2)选择Flink分布式数据处理引擎对Kafka接收的不同设备的数据进行清洗过滤、规则匹配，并将设备数据发送到Clickhouse的设备信息表中，设备的日志数据发送到IoTDB中；其中：Flink分布式数据处理引擎对数据的处理过程如下：在Kafka规则rule_topic中解析规则字符串为可用规则，在Kafka设备日志topic中解析日志数据需要匹配的字段；将解析的可用规则及字段发送到siddhi规则引擎中，利用flink_job根据规则匹配生成的事件输出到Kafka_topic中；

(S3)选择分布式计算引擎Spark批次抽取IoTDB不同设备的数据，动态分区，动态创建hive表，将数据加载到hive用作离线分析使用，并利用hadoop的纠删码特性归档冷数据；其中，动态分区、动态创建hive表的过程如下：分布式计算引擎Spark请求IoTDB得到所有的时间序列，对时间序列进行处理，除“_”下划线之外的所有符号都替换为下划线；spark sql根据表名和时间端where过去取得的数据，根据查询的DataFrame schema和存在的hive表的schema比较是否发生了schema的变化，如果发生变化，则根据变化后的schema，同表名+n后缀新建表，随后，spark DataFrame根据p_date字段分区，通过算子saveAs Table`写hive表；如果没发生变化，则直接根据spark DataFrame根据p_date字段分区，通过算子saveAsTable`写hive表；

(S4)选择Atlas工具构建元数据管理体系，对业务元数据、技术元数据和操作元数据进行管理；

(S5)二次开发AJ-Report进行数据报表可视化展示，构建属于适合本中台的可拖拽、可快速构建物联设备数据、集群状态信息的可视化展示平台。

2.根据权利要求1所述的一种基于大数据模型的物联中台系统搭建方法，其特征在于，所述业务元数据包括数据库表和业务规则；所述技术元数据包括数据库对象属性、任务执行信息和上下游依赖数据；所述操作元数据包括批处理的执行日志和报表访问数据。

3.根据权利要求1所述的一种基于大数据模型的物联中台系统搭建方法，其特征在于，在步骤(S5)中，可视化展示品台的构建方法如下：登录ar-report web页面，添加数据源，新建dashboard，拖拽可视化的图表组件，再利用图表组件绑定数据源即可。