[发明专利]一种数据管理系统和方法

权利要求书

1.一种数据管理系统，其特征在于，包括第一服务器和第二服务器，其中，

所述第一服务器，包括第一数据库和第二数据库；

所述第二服务器，用于接收数据、解析数据并分布式存储在所述第一服务器中；同时响应于外部请求从所述第一数据库或第二数据库读取并发布所述外部请求对应的数据。

2.根据权利要求1所述的数据管理系统，其特征在于，所述第二服务器，包括数据接收单元、数据解析单元、数据存储单元和数据发布单元，其中

数据接收单元，用于接收数据并将所述数据传输至所述数据解析单元；

数据解析单元，包括多个数据解析器，用于遍历所述数据解析器以解析所述数据、确定该数据的种类并将所述数据转换为统一格式的格式数据；

数据存储单元，用于根据所述种类将所述格式数据分布式存储在所述第一数据库和第二数据库中；

数据发布单元，用于响应于外部请求从所述第一数据库或第二数据库读取并发布所述外部请求对应的数据。

3.根据权利要求2所述的数据管理系统，其特征在于，所述数据解析单元还包括数据压缩器，用于将所述格式数据与其对应的前一次存储的格式数据进行比对，若不同则添加时间戳并传输至所述数据存储单元，否则丢弃。

4.根据权利要求2所述的数据管理系统，其特征在于，所述数据存储单元还包括边界队列，用于控制同时进行数据存储的线程的数量。

5.根据权利要求1所述的数据管理系统，其特征在于，所述第一数据库为存储实时数据的内存数据库，所述第二数据库为存储海量数据的文档数据库。

6.根据权利要求5所述的数据管理系统，其特征在于，所述第一数据库为redis分布式内存数据库，所述第二数据库为MongoDB数据库。

7.一种利用权利要求1-6中任一项所述的数据管理系统的数据管理方法，其特征在于，包括：

第二服务器接收数据；

所述第二服务器解析所述数据并分布式存储在第一服务器中；

所述第二服务器响应于外部请求从所述第一服务器的第一数据库或第二数据库读取并发布所述外部请求对应的数据。

8.根据权利要求7所述的数据管理方法，其特征在于，所述第二服务器，包括数据接收单元、数据解析单元、数据存储单元和数据发布单元，则

所述第二服务器接收数据包括：所述数据接收单元接收数据并将所述数据传输至所述数据解析单元；

所述第二服务器解析所述数据并分布式存储在第一服务器中包括：

所述数据解析单元包括多个数据解析器，通过遍历所述数据解析器以解析所述数据、确定该数据的种类并将所述数据转换为统一格式的格式数据；

所述数据存储单元根据所述种类将所述格式数据分布式存储在所述第一服务器的第一数据库和第二数据库中；

所述第二服务器响应于外部请求从所述第一服务器的第一数据库或第二数据库读取并发布所述外部请求对应的数据包括：

所述数据发布单元响应于外部请求从所述第一数据库或第二数据库读取并发布所述外部请求对应的数据；

所述数据解析单元还包括数据压缩器，在所述数据存储单元根据所述种类将所述格式数据分布式存储在所述第一服务器的第一数据库和第二数据库中之前，所述数据管理方法还包括：

将所述格式数据与其对应的前一次存储的格式数据进行比对，若不同则添加时间戳并传输至所述数据存储单元，否则丢弃。

9.根据权利要求8所述的数据管理方法，其特征在于，所述数据存储单元还包括边界队列，所述数据管理方法还包括：

当同时进行数据存储的线程的数量超过预设置的线程阈值时，采用边界队列锁存所述超过阈值的线程。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求7-9中任一项所述的方法。