[发明专利]一种数据存储、查询、加载方法及装置

说明书

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据存储、查询、加载方法及装置。

背景技术

大数据是需要新处理模式才能具有更强决策力、洞察发现力和流量优化能力的海量、高增长率和多样化的信息资产，从某种程度来说，大数据属于数据分析的前沿技术，也即，从各种类型的数据中快速获得有价值信息的能力，就是大数据的处理技术。大数据的常见特点是4V：Volume、Velocity、Variety、Veracity(数据量大、输入和处理速度快、数据多样性、真实性)，这对存储系统提出了更高要求，传统文件系统在存储大数据方面存在着一定的弊端，比如：内容难以搜索、存储系统成本高、管理复杂等。

大数据的数据源有结构化、半结构化、非结构化三种类型，对于这些类型的数据存储管理主要有分布式系统和数据接口两个主要部分。但目前的数据存储都是以数据结构为中心的，一旦数据结构或数据类型发生变化，很难通过软件本身的自适应能力去调整来适应这种变化。尤其是，涉及结构化、非结构化数据的共同存储管理和联合查询时，数据处理流程较为复杂，一旦改变数据结构则需要付出较大的时间成本。

目前的一些层次数据库也实现了数据结构变化的调整需求。此外一些列式存储数据库也可以适应一定程度上的数据结构变化。但层次数据库由于采用层次模型设计，对于结构化数据、半结构化数据、非结构数据的联合存储管理支持效果并不理想，且对于非层次关系的数据存储较为复杂，查询效率较低。而列式数据库则由于按列进行数据存储，适合批量处理，对于小数据量的查询支持效果不好，对于非结构化数据的存储查询支持有限。

现有技术不足在于：

虽然目前存在一些数据库在一定程度上可以适应数据结构变化，但依然存在诸多问题，对大数据的存储、查询支持效果并不理想。

发明内容

本发明实施例提出了一种数据存储、查询、加载方法及装置，解决了现有技术中数据库无法及时适应数据结构变化以至于存储、查询等操作效果不理想的技术问题。

本发明实施例提供了一种数据存储方法，包括如下步骤：

在进行用户数据存储时，为用户数据创建对象，对象包括用户数据本身以及用户数据的属性信息，每个对象具有对应的对象标识；

将属性信息存入元数据库中，根据用户数据的属性信息将用户数据写入相应的底层存储系统，在元数据库中用于存储属性信息的各属性信息表之间通过对象标识进行关联。

本发明实施例提供了一种数据存储装置，包括如下步骤：

对象创建模块，用于在进行用户数据存储时，为用户数据创建对象，对象包括用户数据本身以及用户数据的属性信息，每个对象具有对应的对象标识；

存储模块，用于将属性信息存入元数据库中，根据用户数据的属性信息将用户数据写入相应的底层存储系统，在元数据库中用于存储属性信息的各属性信息表之间通过对象标识进行关联。

由于本发明实施例在进行数据存储时将数据作为对象进行处理，每个对象包括用户数据本身以及该用户数据的属性信息，存储时将属性信息存储于元数据库、用户数据根据属性信息的不同存储于相应的底层存储系统，采用这样的存储方式可以在不改变软件结构的情况下更好的适应数据结构的变化。

本发明实施例提供了一种对利用上述存储方法存储的数据进行查询的方法，包括如下步骤：

接收查询请求，请求中包括所述对象标识；

根据对象标识在各属性信息表中确定数据存储位置进行数据查询。

本发明实施例还提供了一种对利用上述存储装置存储的数据进行查询的装置，包括：

查询接口，用于接收查询请求，请求中包括所述对象标识；

查询执行模块，用于根据对象标识在各属性信息表中确定数据存储位置进行数据查询。

由于本发明实施例采用上述存储方式进行数据存储，在进行数据查询通过对象标识在各个属性信息表中进行查找，获得数据存储位置之后即可找到相应的用户数据，采用本发明实施例所提供的查询方式，大大提高了查询效率。

本发明实施例提供了一种对利用上述存储方法存储的数据进行加载的方法，包括如下步骤：

在对象创建后进行数据加载；

当用户数据的数据类型需要改变时，修改所述用户数据相应的属性信息表；

在属性信息修改完成后，进行数据加载。

本发明实施例还提供了一种对利用上述存储装置存储的数据进行加载的装置，包括：

加载模块，用于在对象创建后进行数据加载；

修改模块，用于当用户数据的数据类型需要改变时，修改用户数据相应的属性信息表；