[发明专利]非结构化数据联邦存储方法、装置、终端及存储介质

说明书

本发明公开了一种非结构化数据联邦存储方法、装置、终端及存储介质，所述方法包括：建立联邦节点唯一标识码规范；根据所述联邦节点唯一标识码规范，建立联邦节点接入规范；将所述联邦节点接入规范的规范信息注册到注册中心，并获取所述注册中心返回的简码；根据所述简码及对象id生成规范，为存储在联邦节点上的对象实体生成id。本发明提供的存储方法具有更高效的性能，通过提供多个NameNode同时对外提供服务，使读取速度不会根据存储容量而降低，可存储的数据量更大；同时，该方法具备良好的可扩展性，可通过增加新的NameNode和DataNode，提高存储的效率，且在增加存储容量的同时不会影响现有的数据存储效率。

技术领域

本发明涉及数据存储技术领域，具体涉及一种非结构化数据联邦存储方法、装置、终端及存储介质。

背景技术

目前，企业中80％的数据都是非结构化数据，因此海量非结构化数据存储的重要性可见一斑。其中，现有的主流非结构化数据的存储方式是利用hadoop集群，将非结构化数据存储在hdfs系统中。然而如果在集群存储能力遇到瓶颈，需要进行扩展时，需要对现有的数据进行迁移，使得这个集群扩展的过程复杂，效率低下。

发明内容

本发明的目的在于提供一种非结构化数据联邦存储方法、装置、终端及存储介质，以解决现有的集群扩展需要进行数据迁移，过程复杂的问题。

为了克服上述现有技术中的缺陷，本发明提供了一种非结构化数据联邦存储方法，包括：

建立联邦节点唯一标识码规范；

根据所述联邦节点唯一标识码规范，建立联邦节点接入规范；

将所述联邦节点接入规范的规范信息注册到注册中心，并获取所述注册中心返回的简码；

根据所述简码及对象id生成规范，为存储在联邦节点上的对象实体生成id；

建立联邦节点访问网关，以实现联邦访问请求转发；

其中，当对象存储请求到达网关层时，通过网关层提取所述对象存储请求中的对象实体和受理业务类型；

获取注册中心中接受该业务类型的联邦节点信息，作为第一节点；

根据权重轮询将所述对象存储请求分发到所述第一节点中的任一节点；

当对象读取请求到达网关层时，通过网关层提取所述对象读取请求中的id信息；

根据从所述id信息分割出的联邦节点简码，从注册中心获取联邦节点访问地址信息，将所述对象读取请求转发到实际服务的联邦节点。

进一步地，所述联邦节点接入规范包括：

联邦节点的唯一标识码、主访问域名或vip、备用访问域名或vip、受理业务类型及读取功能开放信息。

进一步地，所述非结构化数据联邦存储方法，还包括：

通过联邦节点按预设周期进行轮询续约；若不续约，通过注册中心标记联邦节点下线。

进一步地，所述非结构化数据联邦存储方法，还包括：

通过注册中心成功注册的联邦节点设置轮询权重，以分流调控所述联邦节点的响应压力。

本发明还提供了一种非结构化数据联邦存储装置，包括：

标识码规范生成单元，用于建立联邦节点唯一标识码规范；

接入规范生成单元，用于根据所述联邦节点唯一标识码规范，建立联邦节点接入规范；

注册单元，用于将所述联邦节点接入规范的规范信息注册到注册中心，并获取所述注册中心返回的简码；