[发明专利]一种基于分布式存储的非结构化数据管理系统及其方法

说明书

本发明属于数据管理技术领域，公开了一种基于分布式存储的非结构化数据管理系统及其方法，所述的方法包括如下步骤：云管理中心实时采集非结构化数据，并将非结构化数据存储至分布式存储子系统；云管理中心实时采集管理终端的数据查询信息和数据操作信息；根据数据查询信息进行搜索并向管理终端返回对应的非结构化数据；根据数据操作信息对目标非结构化数据进行操作并返回操作记录，根据操作记录更新预设的表单。本发明解决了现有技术存在的系统的实用性低、存储空间不足、进行存储、查询、操作的步骤繁琐、效率低下、数据运行安全性低以及无法满足管理需求的问题。

技术领域

本发明属于数据管理技术领域，具体涉及一种基于分布式存储的非结构化数据管理系统及其方法。

背景技术

非结构化数据本质上是结构化数据之外的一切数据，不符合任何预定义的模型，因此存储在非关系数据库中，可能是文本的或非文本的，也可能是人为的或机器生成的。综上所述，非结构化数据就是字段可变的的数据。

非结构化数据的组织或格式化十分困难，并且非结构化数据的收集、处理和分析也是一项重大挑战。非结构化数据构成了网络上绝大多数可用数据，并且每年都在增长。随着更多信息在网络上可用，并且大部分信息都是非结构化的，合理存储利用非结构化数据的的方法已成为许多企业的重要战略。

现有技术存在以下的问题：

1)随着互联网的飞速发展，企业产生了大量的非结构化数据，传统的关系数据库已经无法处理和分析如此大规模的数据，系统的实用性低，海量的非结构化数据规模大、数据类型丰富、结构复杂，使得非结构化数据的管理面临巨大的挑战。

2)现有的管理系统的存储服务器内存无法满足海量非结构化数据的存储要求，并且对于非结构化数据进行存储、查询、操作往往基于本地服务器对本地数据库的连接，其步骤繁琐，效率低下，大量数据运行的时候容易引起本地服务器的崩溃，严重是引发数据丢失，数据的安全性低，导致现有的管理系统无法满足管理需求。

发明内容

为了解决现有技术存在的系统的实用性低、存储空间不足、进行存储、查询、操作的步骤繁琐、效率低下、数据运行安全性低以及无法满足管理需求的问题，本发明目的在于提供一种基于分布式存储的非结构化数据管理系统及其方法。

本发明所采用的技术方案为：

一种基于分布式存储的非结构化数据管理系统，包括云管理中心和分布式存储子系统，云管理中心与分布式存储子系统数据连接，且云管理中心数据连接有若干外部的管理终端和若干非结构化数据的数据采集终端。

进一步地，云管理中心包括管理服务器和通信单元，管理服务器通过通信单元分别与若干外部的管理终端、分布式存储子系统以及数据采集终端数据连接，云管理中心预设有用户数据库和缓存数据库。

进一步地，管理服务器包括MCU、分布式消息模块、数据存储模块、查询信息分析模块以及特征提取模块，数据存储模块预设有用户数据库和缓存数据库，MCU分别与通信单元、分布式消息模块、数据存储模块、信息分析模块以及特征提取模块数据连接。

进一步地，分布式存储子系统包括若干相互数据连接的分布式服务器，每个分布式服务器均与管理中心数据连接。

进一步地，分布式服务器包括源数据服务器、更新服务器以及搜索服务器。

一种基于分布式存储的非结构化数据管理方法，基于非结构化数据管理系统，包括如下步骤：

云管理中心实时采集非结构化数据，并将非结构化数据存储至分布式存储子系统；

云管理中心实时采集管理终端的数据查询信息和数据操作信息；

根据数据查询信息进行搜索并向管理终端返回对应的非结构化数据；