[发明专利]一种高性能数据存储引擎的实现方法

说明书

技术领域

本发明属于K-V类数据库存储引擎领域，尤其是涉及一种利用键值的哈希值组织数据存储结构的方法。

背景技术

当前，基于哈希的K-V类数据库存储引擎已经被广泛使用，由于其查询时的时间复杂度低，因而对于精确查询场景，往往可以获得很高的查询性能。但是，公知方案中，随着数据入库量增加，往往需要对数据进行重整，当存量数据积累到一定规模时，入库性能就会出现较严重的非线性衰减；此外，为了支持复杂的并发事务模型、提升事务吞吐量，往往需要引入log机制，这对于大批量数据追加、事务回滚等操作的性能都是不利的。

发明内容

本发明要解决的问题是提供一种基于哈希的K-V型数据库存储引擎，降低引擎的实现复杂度，保证性能的稳定性、以及写操作时的响应速度。

为了达到上述目的，本发明采取的技术方案为：一种高性能数据存储引擎的实现方法，其特征在于，包括如下步骤：

1.1 本引擎使用Key-value方式存储数据；基于Key的哈希值，组织value的存储结构；存储结构以页面为单位，包括元数据和数据两部分；

1.2 所述元数据分为哈希散列表和删除标记两部分，每个哈希值对应一个散列表元素；

1.3 所述每个散列表元素存储发生哈希冲突的数据，包括哈希冲突链的起始页面编号、冲突链尾页编号，以及尾页的空闲空间的偏移量；

1.4 数据存储空间中，存储的每一条数据均包括以下内容：(一)Key值；(二)本条数据的入库次序号；(三)本条数据的value；

1.5 所述删除标记由一个位图表示，位图的每一个比特对应一个入库次序号，为0表示数据有效，为1表示数据已删除；

1.6 数据存储空间中，每个页面都在固定位置存储下一个页面的编号，从而构成页面链表；链表的最后一个页面在页面编号位置存储一个结束标记，用于标识链表尾；

1.7 所述元数据分两个版本，一个称元数据1，另一个称元数据2，其中一个为读版本，另一个为写版本；

1.8 读取数据时，每个读数据请求均获得一个当前元数据读版本的只读快照，并依此快照访问数据存储空间；

1.9 写数据时，在元数据的写版本上进行操作，写版本是当前读版本的一个可写快照；写数据时，只允许串行写入，当一个写操作正在被处理时，其他写请求将被阻塞；

1.10 写操作在提交时，将当前的写版本元数据切换为当前读版本；提交结束后，再发起的读请求都使用新的读版本元数据；

1.11 更新和删除操作，都被定义为写操作，与数据追加操作互斥；

1.12 删除数据时，更新写版本元数据的删除标记；提交时将当前写版本元数据切换为读版本；

1.13 更新数据时，将更新操作转化成一个删除操作和一个写操作；提交时将当前写版本元数据切换为读版本。

进一步的，步骤1.1所述页面的尺寸可由用户指定。

进一步的，步骤1.2所述元数据的哈希散列表元素个数也即哈希值的取值范围是一个恒定值，可由用户指定。

进一步的，步骤1.5所述入库次序号为非负整数，在入库时生成，从0开始递增，中间不允许出现气泡。

进一步的，步骤1.8所述读取数据的具体流程如下：

2.1 将当前读版本元数据复制成一个只读快照；

2.2 将查询的数据key值带入哈希函数，取得其哈希值，根据哈希值到只读快照的散列表中获取冲突链的起始页面位置和尾页空闲空间偏移；

2.3 从起始页面开始读取数据，将每一条数据的Key值和查询的数据key值比较，如果相等则将这条数据加入结果集；

2.4 循环读取当前页面中的数据，一个页面搜索完成，则通过其页面偏移读取下一页面，直到尾页的空闲空间偏移处为止；

2.5 遍历只读快照的删除标记，将比特值为1的位置对应的入库次序号的数据行从结果集中删除；

2.6 返回结果集。

进一步的，步骤1.9所述写数据操作的具体流程如下：

3.1 将当前读版本元数据复制成一个可写快照，作为写版本元数据，并锁定写版本元数据，阻止并发写入；

3.2 将要写入的数据key值带入哈希函数，取得其哈希值，根据哈希值到可写快照的散列表中获取冲突链的尾页位置和尾页空闲空间偏移；

3.3 如果尾页空间足够，则将数据追加至尾页空闲空间，并更新可写快照对应的尾页空闲空间偏移；