[发明专利]一种基于弹性表模型的多源异构数据存储方法和系统

说明书

本发明提供一种基于弹性表模型的多源异构数据存储方法和系统，所述方法包括：获取数据的对象信息和数据的属性信息；基于所述对象信息和所述属性信息建立弹性表模型，所述弹性表模型用于根据所述对象信息对所述数据进行对象分组，每个对象分组中存储有对象信息相同的数据，并将每个对象分组中属性信息相同的数据分为同一类数据，分别对各对象分组中的数据进行分类存储；基于所述弹性表模型对所述数据进行存储。分别通过数据的对象信息和属性信息对数据进行分组、分类存储，将一个对象的多个维度的异构数据统一组织，能不断增加异构数据类型和一种数据中的属性数量，在多个维度上、每个维度内具有弹性。

技术领域

本发明涉及计算机数据管理技术领域，更具体地，涉及一种基于弹性表模型的多源异构数据存储方法和系统。

背景技术

随着大数据应用的普及，人们需要管理数据的种类和数量在不断增长，这些数据不仅包括传统的结构化数据，还包括文本、图像、视频等非结构化数据，以及基于这些数据提取和挖掘的二次加工数据等。此外，数据的来源也变得更加多样，例如对于一个设备工作状况的对象信息既包括设备上的传感器采集到的时序数据，还包括用户录入系统的巡查、检修等数据。

多源异构数据的使用对现有的数据管理系统提出了巨大挑战，其中主要的问题就在于，现有的以关系模型为主的数据管理系统无法应对这些多源异构数据的两大特性：(1)同一对象的具有多种异构数据，且在不断演化；(2)一个对象的一种数据的属性值在不断演化。

传统关系数据库不得不使用代价高昂的外键关联来将多源异构数据进行关联，并采用模式的变化语句来实现数据种类、数据属性的演化，这使得关系数据模型下的多源异构统一管理不仅不方便、并且效率较差。传统的对象模型数据库则主要在考虑类之间的继承关系、对象引用等，也难以处理异构数据不断演化的需求。此外，现有Hadoop、MongoDB、DynamoDB等专用系统仅支持文档、键值等单一数据模型，通用性弱，因而存储多类型数据需要集成多个系统，平台构建与运维代价高，寻求通过统一数据模型实现多类型数据一体化存储已经成为非结构化数据技术的必然发展趋势。

发明内容

本发明提供一种克服上述问题或者至少部分地解决上述问题的一种基于弹性表模型的多源异构数据存储方法和系统，解决了现有技术中存储系统仅支持文档、通用性弱，且平台构建、运维代价高的问题。

根据本发明的一个方面，提供一种多源异构数据存储方法，包括：

获取数据的对象信息和数据的属性信息；

基于所述对象信息和所述属性信息建立弹性表模型，所述弹性表模型用于根据所述对象信息对所述数据进行对象分组，每个对象分组中存储有对象信息相同的数据，并将每个对象分组中属性信息相同的数据分为同一类数据，分别对各对象分组中的数据进行分类存储；

基于所述弹性表模型对所述数据进行存储。

作为优选的，基于所述对象信息和所述属性信息建立弹性表模型具体包括：

建立对象列表，并在所述对象列表中建立多个对象分组，每个对象分组用于存储对象信息相同的数据；

在所述对象分组中建立刻面列表，在所述刻面列表中建立多个刻面，每个刻面用于存储属性信息相同的数据。

作为优选的，建立刻面列表后还包括：

定义每个刻面中数据按属性信息的排序方式，若未有定义排序方式，则对数据进行随机排序。

作为优选的，基于所述弹性表模型对所述数据进行存储具体包括：

判断所述弹性表模型中是否存在新数据所属的对象分组；

若存在，则判断所述对象分组中是否存在所述新数据所属的刻面，若存在匹配的刻面，则将所述新数据添加至所述刻面中，若不存在，则新建刻面，对所述新数据进行存储；