[发明专利]一种数据管理系统和方法

说明书

本发明公开了一种数据管理系统、数据管理方法和计算机可读存储介质，所述数据管理系统包括第一服务器和第二服务器，其中，所述第一服务器，包括第一数据库和第二数据库；所述第二服务器，用于接收数据、遍历预存储的数据解析器以解析所述数据、确定所述数据的种类并根据种类分布式存储在所述第一数据库或第二数据库中；同时响应于外部请求从所述第一数据库或第二数据库读取并发布所述外部请求对应的数据。本发明提供的实施例能够通过对煤矿生产过程中各种数据的集中接收、管理和统一发布，解决了现有技术中数据管理不规范的问题，有效提高数据使用效率。

技术领域

本发明涉及数据处理技术领域，特别是涉及一种数据管理系统、数据管理方法和计算机可读存储介质。

背景技术

煤矿生产过程中，存在着各种类型的数据，包括：安全监测监控数据，人员定位数据，地测数据，通风数据等各类型数据；这些数据来源不同，产生的数据格式不同，提供方式各不相同；在进行信息化建设时，多种不同的数据缺乏一个有效的集中管理手段。

目前存在的问题：

1.缺乏对数据的集中管理，各需求方采集数据时，重复开发；

2.各类型数据对外发布格式不统一，接口不规范；

3.多个数据采集端同时读取同一个数据源时，造成数据源性能压力较大。

发明内容

为了解决上述问题至少之一，本发明第一方面提供一种数据管理系统，包括第一服务器和第二服务器，其中，

所述第一服务器，包括第一数据库和第二数据库；

所述第二服务器，用于接收数据、解析数据并分布式存储在所述第一服务器中；同时响应于外部请求从所述第一数据库或第二数据库读取并发布所述外部请求对应的数据。

进一步的，所述第二服务器，包括数据接收单元、数据解析单元、数据存储单元和数据发布单元，其中

数据接收单元，用于接收数据并将所述数据传输至所述数据解析单元；

数据解析单元，包括多个数据解析器，用于遍历所述数据解析器以解析所述数据、确定该数据的种类并将所述数据转换为统一格式的格式数据；

数据存储单元，用于根据所述种类将所述格式数据分布式存储在所述第一数据库和第二数据库中；

数据发布单元，用于响应于外部请求从所述第一数据库或第二数据库读取并发布所述外部请求对应的数据。

进一步的，所述数据解析单元还包括数据压缩器，用于将所述格式数据与其对应的前一次存储的格式数据进行比对，若不同则添加时间戳并传输至所述数据存储单元，否则丢弃。

进一步的，所述数据存储单元还包括边界队列，用于控制同时进行数据存储的线程的数量。

进一步的，所述第一数据库为存储实时数据的内存数据库，所述第二数据库为存储海量数据的文档数据库。

进一步的，所述第一数据库为redis分布式内存数据库，所述第二数据库为MongoDB数据库。

本发明第二方面提供一种利用第一方面所述的数据管理系统的数据管理方法，包括：

第二服务器接收数据；

所述第二服务器解析所述数据并分布式存储在第一服务器中；

所述第二服务器响应于外部请求从所述第一服务器的第一数据库或第二数据库读取并发布所述外部请求对应的数据。

进一步的，所述第二服务器，包括数据接收单元、数据解析单元、数据存储单元和数据发布单元，则