[发明专利]基于工业云边服务的数仓系统

说明书

本发明提供了一种基于工业云边服务的数仓系统，包括数据采集模块、中间件模块、数据分层模块、离线数仓模块和实时数仓模块，其中，所述数据采集模块用于采集工业数据，所述中间件模块用于接收所述工业数据并将其传输至所述数据分层模块，所述数据分层模块用于对接收到的所述工业数据进行处理，并将处理后的所述工业数据分别持久化到所述离线数仓模块和所述实时数仓模块中，此外，所述离线数仓模块映射所述实时数仓模块中的数据。本发明能够实现离线数仓与实时数仓相结合，并能够通过同一种数据链路实现离线数仓和实时数仓，从而能够保证数据的一致性，并能够减少资源占用，便于后期维护。

技术领域

本发明涉及工业数仓技术领域，具体涉及一种基于工业云边服务的数仓系统。

背景技术

随着工业智能制造发展迅速，工业企业开始了数字化转型与工业4.0的融合，其中，工业设备数据和工业系统数据生产形成的离线数仓或实时数仓往往是工业企业大数据生产系统中不可缺少的一环。但是，目前工业企业的离线数仓和实时数仓是分别运行的，两者之间的结合并不紧密，并且对于同样的需求需要用两套代码任务实现离线数仓和实时数仓，然后启动多套代码任务意味着相同逻辑需要计算多次，不仅占用较多的资源，而且也将大大增加后期维护难度。

发明内容

本发明旨在至少在一定程度上解决上述技术中的技术问题之一。为此，本发明的目的在于提出一种基于工业云边服务的数仓系统，能够实现离线数仓与实时数仓相结合，并能够通过同一种数据链路实现离线数仓和实时数仓，从而能够保证数据的一致性，并能够减少资源占用，便于后期维护。

为达到上述目的，本发明实施例提出了一种基于工业云边服务的数仓系统，包括数据采集模块、中间件模块、数据分层模块、离线数仓模块和实时数仓模块，其中，所述数据采集模块用于采集工业数据，所述中间件模块用于接收所述工业数据并将其传输至所述数据分层模块，所述数据分层模块用于对接收到的所述工业数据进行处理，并将处理后的所述工业数据分别持久化到所述离线数仓模块和所述实时数仓模块中，此外，所述离线数仓模块映射所述实时数仓模块中的数据。

根据本发明实施例提出的基于工业云边服务的数仓系统，通过数据采集模块采集工业数据，并通过中间件模块接收工业数据并将其传输至数据分层模块，然后通过数据分层模块对接收到的工业数据进行处理，并将处理后的工业数据分别持久化到离线数仓模块和实时数仓模块中，此外，离线数仓模块还可映射实时数仓模块中的数据，由此，能够实现离线数仓与实时数仓相结合，并能够通过同一种数据链路实现离线数仓和实时数仓，从而能够保证数据的一致性，并能够减少资源占用，便于后期维护。

另外，根据本发明上述实施例提出的基于工业云边服务的数仓系统还可以具有如下附加的技术特征：

根据本发明的一个实施例，所述工业数据包括工业业务数据和工业设备数据，并且所述工业设备数据存储于RabbitMQ集群。

根据本发明的一个实施例，所述数据采集模块包括：Flume-Decode-Interceptor拦截器，所述Flume-Decode-Interceptor拦截器用于解密所述工业业务数据以采集所述工业业务数据；Flume-RabbitMQ-Plugin插件，所述Flume-RabbitMQ-Plugin插件用于对所述工业设备数据RabbitMQ集群进行采集。

根据本发明的一个实施例，所述Flume-Decode-Interceptor拦截器定义实现Interceptor接口，所述Flume-RabbitMQ-Plugin插件定义实现Configurable接口和EventDrivenSource接口。

根据本发明的一个实施例，所述中间件模块为消息中间件Kafka。

根据本发明的一个实施例，所述数据分层模块包括数据原始层、数据明细层、数据聚合层和数据集市层，其中，所述数据原始层、所述数据明细层和所述数据聚合层分别连接到所述离线数仓模块，所述数据集市层连接到所述实时数仓模块。