[发明专利]一种NoSQL大数据管理系统的设计

说明书

本发明针对目前数据管理系统的不足，在NoSQL大数据上设计的数据管理系统；该系统包括面向磁盘的读写方式，即将修改和删除操作都追加写到文件末尾,而读数据时利用时间戳过滤掉旧信息,返回给用户最新版本的数据；同时flash的内存扩展缓存，混合使用RAM和flash内存,将所有的key‑value对存于flash内存中,并将少量的key‑value对的元信息存在RAM中支持快速插入和查询，为用户提供如何利用最小RAM存储最多的flash中的key‑value对以及恰当的多级存储策略。

技术领域

本发明涉及大数据信息管理领域，使用了key-value和NoSQL数据库方面的技术。

背景技术

随着信息科技的发展,大数据广泛存在,如企业数据、统计数据、科学数据、医疗数据、互联网数据、移动数据、物联网数据等等,大数据带来了大机遇,同时也为有效管理和利用大数据提出了挑战；在性能上,No SQL数据存储系统都具有传统关系数据库所不能满足的特性,是面向应用需求而提出的各具特色的产品。

发明内容

系统的总体设计

1.系统包括 key-value型、key-document型和key-column型存储；Key-Value 键值对数据模型实际上是一个映射,即key是查找每条数据地址的唯一关键字,value是该数据实际存储的内容.例如键值对:(“20091234”,“张三”),其 key:“20091234”是该数据的唯一入口,而 value:“张三”是该数据实际存储的内容.Key-Value数据模型典型是采用哈希函数实现关键字到值的映射,查询时,基于key的hash值直接定位到数据所在的点,实现快速查询,并支持大数据量和高并发查询；Key-Column型数据模型主要来自Google的Big Table目前流行的开源项目Hbase和Cassandra也采用了该种模型.Column型数据模型可以理解成一个多维度的映射,主要包含column,row和columnfamily等概念.简单来说,key-column型数据模型是通过多层的映射模拟了传统表的存储格式,实际上类似于key-value数据模型,需要通过key进行查找.因此,key-column 型数据模型是key-value数据模型的一种扩展；

2.在采用master-slave结构的系统中,master 节点负责管理整个系统,监视slave节点的运行状态,同时为其下的每一个slave节点分配存储的范围,是查询和写入的入口.master 节点一般全局只有1个,该节点的状态将严重影响整个系统的性能,当 master节点宕机时,会引起整个系统的瘫痪.实践中,经常设置多个副本master节点,通过联机热备的方式提高系统的容错性.slave节点是数据存储节点,通常也维护一张本地数据的索引表.系统通过添加slave节点来实现系统的水平扩展.在master-slave框架下,master节点一直处于监听状态,而slave节点之间尽量避免直接通信以减少通信代价.在运行过程中,salve 节点不断地向master节点报告自身的健康状况和负载情况,当某个节点宕机或负载过高时,由master节点统一调度,或者将此节点的数据重新分摊给其他节点,或者通过加入新节点的方式来调节.Big Table,Hbase是典型的master-slave 结构的key-value存储系统. 在 P2P 环形结构中,系统节点通过分布式哈希算法在逻辑上组成一个环形结构,其中的每个node节点不但存储数据,而且管理自己负责的区域.P2P环形结构没有master节点,可以灵活地添加节点来实现系统扩充,节点加入时只需与相邻的节点进行数据交换,不会给整个系统带来较大的性能抖动.P2P环形结构没有中心点,每个节点必须向全局广播自己的状态信息.例如,目前流行的采用P2P环形结构的Cassandra和Dynamo系统采用Gossip机制来进行高效的消息同步。