[发明专利]一种面向列的数据库管理系统

说明书

本发明实施例公开一种面向列的数据库管理系统，包括：用户界面模块，应用程序接口模块、核心服务模块和数据处理模块；所述核心服务模块包括内存池和工作线程，所述内存池包括M个内存块；其中，M大于等于2；所述数据处理模块用于将数据以列为单位进行组织聚合以及存储，并用于采用全索引的方式进行数据查询；其中，所述数据处理模块采用的数据结构为单列表数据结构。本发明实施例能够使使用者无须编写复杂的查询语句，并支持非结构数据和结构化数据的存储，关系和非关系数据的存储，任意条件组合查询。

技术领域

本发明涉及数据库技术领域，尤其涉及一种面向列的数据库管理系统。

背景技术

目前大数据系统的数据存储管理解决方案包括传统关系数据库RDBMS和非关系数据库NoSQL两类。由于网络的海量数据没有固定的结构，并且相互间存在复杂多样的关系，数据工程师往往需要同时使用多种关系数据库和NoSQL数据库来完成自己的数据处理需求。这种多类型混合使用方式，使得程序逻辑复杂，流程繁琐，执行缓慢，出错率高，扩展性弱，易用性差，移植困难，特别是给大数据统计分析和数据挖掘带来额外的不便。

传统关系数据库的瓶颈主要表现在：数据类型单一，高并发读写的性能低，支撑容量有限，数据库的可扩展性和可用性低，建设和运维成本高等等。

非关系数据库NoSQL极大地提高数据库的存取效率，但是却带来了更加严重的问题：数据库基本不具备通用性，移植能力差，数据迁移困难；弱化数据关系，导致数据统计挖掘分析困难；数据的格式需要用户自定义，把数据格式的管理交给上层应用负责，增加了开发软件的系统复杂性。

发明内容

为了解决现有技术的缺陷，本发明实施例提供一种面向列地数据管理系统，能够使用者无须编写复杂的查询语句，只需要给出查询条件字段和要查询的结果字段即可，并支持非结构数据和结构化数据的存储，关系和非关系数据的存储，任意条件组合查询。

本发明实施例提供一种面向列的数据库管理系统，其特征在于，包括：

用户界面模块，应用程序接口模块、核心服务模块和数据处理模块；

所述核心服务模块包括内存池和工作线程，所述内存池包括M个内存块；其中，M大于等于2；

所述数据处理模块用于将数据以列为单位进行组织聚合以及存储，并用于采用全索引的方式进行数据查询；其中，所述数据处理模块采用的数据结构为单列表数据结构。

进一步地，所述的面向列的数据库管理系统，还包括分布式模块，用于采用MapReduce进行分布式扩展，以适应大规模和超大规模数据集群的存储和运算需求。

进一步地，所述数据处理模块包括：列拆分单元、数据查询单元；所述列拆分单元用于以列为单位拆分接收到的数据表，并为拆分得到的每一单列表的每一行记录赋予一个全局ID；其中，属于所述数据表同一记录的，则赋予相同的全局ID；

所述数据查询单元，用于在接收到数据查询请求时，根据查找条件在与所述单列表一一对应的索引里查找符合所述查找条件的全局ID，并提取所述全局ID对应的数据。

进一步地，所述数据查询单元还用于，当所述查找条件为两个或两个以上时，对根据每一查找条件查找得到的全局ID求交集，获得符合所述查找条件的全局ID集合，并提取所述全局ID集合中每一个全局ID对应的数据。

进一步地，所述的数据库管理系统，还包括：

字段检测单元，用于当检测到单列表中的字段为空时，删除所述字段所在的记录。

进一步地，所述数据处理模块还包括：列集建立单元

所述列集建立单元，用于通过将数据表中每一行记录的所有字段分别作为列集中每一元组中的一组数值，并将赋予每一行所述记录的全局ID分别作为列集中的每一元组的键值构建列集。