[发明专利]一种文具大数据分布式存储系统

说明书

技术领域

本发明属于大数据存储技术领域，尤其涉及文具大数据分布式存储系统。

背景技术

随着信息科技的不断发展，人们的生活已经离不开数据信息，例如，在工作中需要通过数据信息来记录工作的进程等；在生活中如网络购物等，也都需要通过数据信息来进行操作、记录。这就使得数据信息的高效管理成为了一项发展的热点。目前，由于越来越多的人们、企业运用数据信息，使得数据信息的数量越来越多，普通的数据信息处理装置已经渐渐地不能够满足使用需求，然而，大数据信息处理装置的成本较高，如果全部更换大数据处理装置的话，会使得个人或企业需要花费较多的成本进行设备的更换。

另一方面，随着计算机产业发展，人们对电脑的性能要求越来越高，传统的机械硬盘因为其固有的机械特性，造成速度无法进一步提高，其性能已经是整个电脑的瓶颈，所以固态硬盘以优越的读写和IOPS性能，慢慢的进入了人们的生活。

发明内容

本发明实施例提供一种文具大数据分布式存储系统，能够实现对文具大数据的分布式处理，并且数据传输稳定。

本发明实施例是这样实现的，一种文具大数据分布式存储系统，包括：

文具数据分布存储模块；

文具数据的分层划分及与存储节点间的映射配置模块；

文具数据分布管理模块；

所述文具数据分布存储模块，由一组存储节点，通过网络互联，对外作为一个整体提供存储服务的模块；

所述映射配置模块，实现文具数据的分层划分及其与存储节点间的映射配置；

所述文具数据分布管理模块实现文具数据存储的分布管理，所述文具数据的分布管理包括：文具数据存储模块和文具数据删除模块。

优选地，所述文具数据分布存储模块用于实现如下步骤：

文具数据的分层划分：将文具数据中的按照地区-＞子地区-＞厂站或线路之间的关联关系进行层次划分；

文具数据的分层划分、文具数据的分层划分与存储节点间的映射配置：将地区与地区、厂站或线路与文具数据分布存储模块中的存储节点进行映射；包括：确定每个地区、子地区对应的存储节点，并记录映射，以及，确定每个文具厂、文具收购站、线路对应的存储节点，并记录映射。

优选地，所述地区-＞子地区之间关联关系，是指类似“省-市-县”这样的地区-＞子地区之间的包含关系。

优选地，所述厂站及线路，包括文具厂、文具收购站、线路；其中，所述文具厂、文具收购站通常统称为厂站。

优选地，所述地区与厂站及线路间的关联关系，是指地区与文具厂之间、地区与文具收购站之间以及地区与线路之间的包含关系。

优选地，所述按照地区-＞子地区-＞厂站或线路之间的包含关系，将文具数据网模型从网状结构划分树状结构层次，从而将文具数据中的文具数据按照关联关系归属到相应的树状结构分支中，所述树状结构中地区为根节点，每个地区-＞子地区-＞厂站或线路构成一个具体的分支；这样，其它文具数据就可以根据其与地区、厂站或线路及相互之间的关联关系，被归属到相应的树状结构分支中。

优选地，所述文具数据存储模块，实现文具数据的新增和更新，所述新增和更新包括如下步骤：

当接到一个文具数据存储请求时，文具数据分布管理模块首先分析文具数据，确定其文具数据树状结构分支；

以文具数据所属分支对应的地区或厂站线路信息为参数，查询映射配置模块，确定所对应的存储节点；若发现数据无效，返回错误；

向查询到的存储节点发起文具数据存储操作；

存储节点接收到文具数据存储请求后，根据文具数据是否存在，分别在存储介质上执行数据更新或数据新建操作。

优选地，所述文具数据删除模块，实现文具数据的删除，所述删除包括如下步骤：

当接到一个文具数据删除请求时，文具数据分布管理模块首先分析文具数据，确定其文具数据树状结构分支；

以文具数据所属分支对应的地区或厂站线路信息为参数，查询映射配置模块，确定所对应的存储节点；若发现数据无效，返回错误；

存储节点接收到文具数据删除请求后，在存储介质上执行数据删除操作。

本发明实施例提供的文具大数据分布式存储系统，通过利用文具数据与文具区域相关联的分布式特性，在对大规模文具数据进行分布式存储时，以之为依据，将所处理的文具数据合理的、均匀的分布到多个存储节点上，并为后续的文具数据访问提供易用、高效的基础设施，实现了对文具大数据的分布式处理，且数据传输稳定。

附图说明