[发明专利]一种煤矿两级数据中心的数据同步方法

说明书

本发明公开了一种煤矿两级数据中心的数据同步方法，包括以下步骤：S1、通过数据采集适配器将煤矿数据汇聚到煤矿端数据中心；S2、在将煤矿数据写入煤矿端数据中心的同时，将解析后的煤矿数据从第一业务数据消息队列集群镜像到第二业务数据消息队列；S3、从第二业务数据消息队列获取镜像后的煤矿数据，并通过第二入库服务写入公司端数据中心；S4；将公司端产生的煤矿相关数据从第二业务数据消息队列集群镜像到第一业务数据消息队列；S5、从第一业务数据消息队列获取所述煤矿相关数据，并通过第一入库服务写入煤矿端数据中心。本方案在保持两个数据中心数据一致的同时，提高数据同步的实时性，满足煤矿实际数据存储和应用对于效率的需求。

技术领域

本发明属于煤矿数据交互同步领域，涉及一种煤矿两级数据中心的数据同步方法。

背景技术

在煤矿的开采与管理中，通常需要在煤矿端和公司端分别建立数据中心，煤矿端的数据中心主要汇聚煤矿安全、生产、调度、运营等业务领域的所有数据，公司端的数据中心需要汇聚各个煤矿端数据中心的数据以及公司端自身的数据。因此，如何保证两个数据中心之间的数据一致就成了一个关键难题。

煤矿行业中，最常见的数据中心同步是指煤矿端和公司端之间的关系数据库的同步，一般采用数据读写分离和数据日志同步相结合的方式，这种方法一般是将两个数据中心的读写进行分离，在数据中心部署两套数据库服务器，一台负责读操作，一台负责写操作，同时将数据库的写操作日志进行解析，并将操作日志在两个数据中心之间进行数据同步。然而，上述方式的适用场景一般为数据产生频率不高和数据量不大的管理系统，却不合适于煤矿这样的特殊工业场景，煤矿在监测监控和生产过程控制阶段会高频产生大量的环境监测和设备工况数据，这些数据需要快速采集入库，数据产生的频率高，数据量大，如果采用日志同步的方式，无法满足煤矿实际数据存储和应用对效率的需求。

发明内容

有鉴于此，本发明的目的在于提供一种煤矿两级数据中心的数据同步方法，以数据双向同步的方式来实现两个数据中心之间的数据一致，贯通生产执行层与控制层数据通道，提高数据同步的实时性，满足煤矿实际数据存储和应用对于效率的需求，为煤矿智能化建设提供数据支撑。

为达到上述目的，本发明提供如下技术方案：

一种煤矿两级数据中心的数据同步方法，基于煤矿端和公司端，在所述煤矿端部署数据采集适配器、数据交换服务、数据解析器、原始数据消息队列、第一业务数据消息队列、第一入库服务和煤矿端数据中心，在所述公司端部署第二业务数据消息队列、第二入库服务和公司端数据中心，包括以下步骤：

S1、将煤矿数据汇聚到煤矿端数据中心；

煤矿数据汇聚具体包括：

S11、通过所述数据采集适配器对煤矿各子系统的数据源进行适配，并统一采集；所述数据源包括监测监控数据、生产控制数据和经营管理数据；

S12、将数据源的数据集合与第三方平台推送的数据形成煤矿数据后以文本文件的方式在本地备份，得到第一备份文件，并提交到数据交换服务；

S13、通过数据交换服务对所述煤矿数据进行初步数据校验；若初步数据校验成功，则将煤矿数据推送到原始数据消息队列；若校验失败，则推送到原始数据消息队列中的不合规记录主题；

S14、从原始数据消息队列中获取数据，通过数据解析器对所述煤矿数据进行解析；将解析后的煤矿端数据推送到第一业务数据消息队列，并通过第一入库服务写入煤矿端数据中心；

S2、在将解析后的煤矿数据写入煤矿端数据中心的同时，将解析后的煤矿数据从第一业务数据消息队列集群镜像到第二业务数据消息队列；

S3、从第二业务数据消息队列获取镜像后的煤矿数据，并通过第二入库服务写入公司端数据中心；

S4、将公司端产生的煤矿相关数据从第二业务数据消息队列集群镜像到第一业务数据消息队列；