[发明专利]一种基于大数据的数据存储方法、系统、设备及存储介质

说明书

本发明公开了一种基于大数据的数据存储方法：根据业务参数以及各个计算集群的硬件参数，为每个计算集群规划各自存储的数据列数；在虚拟数据库中构建包含每个计算集群中存储的每一列数据的超级表格SuperTable，并根据每个计算集群各自存储的数据列数，将SuperTable纵向切分为多个目标列表Cabinet；构建路由信息，以使得在对SuperTable中的任意列进行读写操作时定位到相应的计算集群中。应用本发明所提供的方法，可以对具有任意列数的海量数据进行存储，实现了数据存储列表的宽度的无限拓展。本发明还公开了具有相应技术效果的基于大数据的数据存储系统、设备及存储介质。

技术领域

本发明涉及大数据技术领域，特别是涉及一种基于大数据的数据存储方法、系统、设备及存储介质。

背景技术

现今的社会高速发展，随着云时代的来临，大数据也越来越受到关注，在越来越多的领域中，大数据都得到了广泛的应用。

大数据的一个显著特点便是数据量非常大，例如物联网数据就是一种海量的并且仍在爆发性增长的大数据。对于这些海量数据，为了节约物理存储空间以及提升数据分析效率，通常采用的是在关系型数据库中的列式存储的方式。

例如Vertica作为一种代表性的列式数据库存储模型，相比于传统行式数据库引擎，有10至50倍性能提升，但其目前支持的表宽度最多为1600列。还有一种主要的存储方式是使用BigTable存储模型，其表宽能够达到百万级别。但对于海量的数据而言，该表宽仍旧不足。例如一个720万的地级市，智能电表的数量达到了150万，如果为每个量测设备分配一列，将各列数据存储在同一数据列表中，就能够消除列与列之间的连接(JOIN)计算的开销，进而满足海量数据的高效存储与高性能分析的要求，但BigTable存储模型的表宽度远低于量测设备的数量，即BigTable存储模型的列数仍旧不足。

综上所述，如何设计一种针对大数据的数据存储方法，使得数据存储模型的列数满足海量数据的要求，是目前本领域技术人员急需解决的技术问题。

发明内容

本发明的目的是提供一种基于大数据的数据存储方法、系统、设备及存储介质，使得数据存储模型的列数满足海量数据的要求。

为解决上述技术问题，本发明提供如下技术方案：

一种基于大数据的数据存储方法，包括：

根据业务参数以及各个计算集群的硬件参数，为每个所述计算集群规划各自存储的数据列数；

在虚拟数据库中构建包含每个所述计算集群中存储的每一列数据的超级表格SuperTable，并根据每个所述计算集群各自存储的所述数据列数，将所述SuperTable纵向切分为多个目标列表Cabinet；

构建路由信息，以使得在对所述SuperTable中的任意列进行读写操作时定位到相应的计算集群中，所述路由信息中包括每个所述Cabinet各自对应的所述计算集群的信息，以及每个所述Cabinet与所述SuperTable之间的映射关系。

优选的，在所述构建路由信息之后，还包括：

接收目标读写指令；

通过解析所述目标读写指令，并根据所述路由信息生成针对待读写的一个或多个所述Cabinet的目标执行指令；

根据所述目标执行指令进行数据的读写。

优选的，所述根据所述目标执行指令进行数据的读写，包括：

当确定出的待读写的所述Cabinet为多个时，将所述目标执行指令分解为与待读写的所述Cabinet数量相同的多个子目标执行指令，各个所述子目标执行指令与各个待读写的所述Cabinet一一对应；

将各个所述子目标执行指令分别发送至对应于各个待读写的所述Cabinet的计算集群中进行数据的读写。