[发明专利]一种用于内存数据库的数据处理方法及系统

说明书

本发明公开了一种用于内存数据库的数据处理方法及系统，包括：基于哈希Hash索引技术将数据中的关键词直接映射为存储地址；根据事务所指示的数据操作请求创建新的版本行，并用时间戳标记事务和行版本实现无锁事务；根据预设的隔离级别对所述事务进行安全性验证；其中，所述预设的隔离级别包括：快照隔离级别、可重复读隔离级别或序列化隔离级别；当所述事务通过安全性验证时，进入提交处理阶段用于写日志，并将新的版本行数据对其它事务可见。本发明采用统一标准定义数据来作为数据库定义基础，可扩展性强；采用多版本时间戳数据行控制来实现无锁事务；采用Hash预取算法索引方式来提升内存空间使用效率和CPU指令执行效率，比一般内存数据库的数据处理具有速度很快；拥有统一标准化的接口，能方便适用于多种平台和工具上。

技术领域

本发明涉及内存数据库技术领域，并且更具体地，涉及一种用于内存数据库的数据处理方法及系统。

背景技术

随着国产软件的逐渐壮大，政府对国产软件进行了大力的支持，使得国产软件得到了迅速的发展。国产数据库是国产软件的代表之一。目前随着安全可靠市场一期二的建立，安全可靠替代工程逐步开展，系统的不断升级优化，各省的安全可靠数据越来越多，面临着大量的数据迁移工作。

而且为了适应新的应用系统，需要对迁移过来的越来越多地数据进行大量地处理。迫切需要一种技术能广泛地适应多种数据库中数据类型，能高速地读写和处理大量数据，从而有效地缩短单项工程的实施周期，支持已有环境中异构数据的迁移，实现将海量数据从其他数据库迁移到国产数据库中。内存数据库技术恰恰满足了这一需求。

无论是什么种类数据库都是遵循数据库原理设计，从数据库原理中我们可以知道索引技术对数据库读写速度的影响有多大，在相同硬件环境下，检索索引的速度决定了数据库的处理速度。现在绝大多数内存数据库由于是刚刚从传统数据库升级过来的，有些还采用旧的基于硬盘优化的索引技术，采用空间换时间策略，具有存储空间利用率低，执行指令冗长，执行效率低等缺点。

传统的数据库引擎面临的问题包括：1.保护内存中的数据结构而采用的闩锁(latch)引起的热点(hot spots)问题；2.使用锁机制控制多版本并发带来的阻塞等问题；3.使用解释型(interpretation)语言的执行计划的执行效率问题。

发明内容

本发明提出一种用于内存数据库的数据处理方法及系统，以解决如何一致、可靠以及高效地实现海量数据迁移的问题。

为了解决上述问题，根据本发明的一个方面，提供了一种用于内存数据库的数据处理方法，其特征在于，所述方法包括：

基于哈希Hash索引技术将数据中的关键词直接映射为存储地址；

根据事务所指示的数据操作请求创建新的版本行，并用时间戳标记事务和行版本实现无锁事务；其中，所述数据操作请求包括：增加、删除、修改和查询；

根据预设的隔离级别对所述事务进行安全性验证；其中，所述预设的隔离级别包括：快照隔离级别、可重复读隔离级别或序列化隔离级别；

当所述事务通过安全性验证时，进入提交处理阶段用于写日志，并将新的版本行数据对其它事务可见。

优选地，其中所述方法还包括：

当所述事务为对数据进行更新时，采用比较和更新CAS实现无锁操作，通过比对物理地址的值与携带值是否匹配，匹配则可操作，不匹配则拒绝操作。

优选地，其中所述方法还包括：

当所述事务为对数据页进行增量更新时，在数据上生成一个新的增量地址作为数据页的访问入口，并采用CAS完成映射表中物理新地址的映射,并对针对同一数据页可能出现的同时更新操作按照预设的选择机制进行仲裁，胜出者将进行更新，失败者操作则抛出错误信息。

优选地，其中所述方法还包括：