[发明专利]一种关系型到NoSQL的数据适配方法

说明书

发明涉及一种关系型到NoSQL的数据适配方法。发明提出了基于轻量级测试与查询感知的选取方法，通过提取查询中数据表存储策略相关的算子，并生成负载进行测试，根据测试的具体指标和选取模型，得到查询最佳的数据表存储策略。对数据表存储策略的内在机制进行了深入分析；基于轻量级测试与查询感知的选取方法支持开发人员快速决策；对不同的数据表存储策略进行接口抽象，满足可扩展性的需求。

技术领域

本发明涉及一种关系型到NoSQL的数据适配方法，属于软件技术领域。

背景技术

海量数据场景下，传统关系数据库在数据存储和处理上的瓶颈越来越凸显。近年来，分布式NoSQL技术得到了迅速发展。作为关系数据库的补充，NoSQL指代了一大类构建于非关系数据模型之上的数据存储管理系统，如BigTable，HBase和MongoDB等。得益于其水平可扩展能力，灵活的数据模型以及与各种计算框架的紧密连接等优势，越来越多的应用开始采用NoSQL数据库作为其存储层。同时，许多原先构建于关系数据库之上的应用也逐渐向NoSQL数据库迁移(Harezlak K, Skowron R. Performance Aspects of Migrating a WebApplication from a Relational to a NoSQL Database. In Proceedings of theInternational Conference: Beyond Databases, Architectures and Structures,2015, 107-115)。然而，从关系数据库迁移到NoSQL也伴随着巨大的挑战，主要的难点体现在不同数据模型之间的转换(Schram A, Anderson K M. MySQL to NoSQL: DataModeling Challenges in Supporting Scalability. In Proceedings of the 3rdAnnual Conference on Systems, Programming, and Applications: Software forHumanity, 2012, 191-202)，即如何将关系表映射成NoSQL中基于key-value的存储形式。

具体来讲，数据模型转换的难点与挑战体现在以下几个方面：(1)相比理论与技术成熟的关系数据库，NoSQL缺乏统一的标准，其弱模式或者无模式的结构意味着转换方式的多种多样。(2)NoSQL数据库不支持关系数据库中的索引，高层语言和复杂的查询引擎等机制，在实际场景中，往往需要在应用层面实现。(3)最重要的是建模理念上的差别，关系数据库的应用遵循一种“数据驱动”的思想，能够在查询未知的情况下，通过关系模型和范式理论来刻画现实世界。而NoSQL数据库是一种应用驱动的平台，在基于NoSQL的应用中，数据访问类型是第一要素，数据模型根据查询进行对应性的设计。目前，能够支持数据模型自动化转换的是一种面向数据的方法，仅仅从数据本身进行考虑。适配器采用固定的映射机制将关系表转换为NoSQL的key-value存储方式。

面向数据的方法提供了关系表逻辑视图和类SQL查询语言，实际上是一种“从关系思维到关系思维”的思想，即仍然以关系模型来刻画业务。优势在于简单通用，适用于任何的应用类型，而且能够快速地完成自动化的转换过程。但该方法忽略了不同平台的特点，以下几个方面的不足导致了性能上的缺陷。(1)关系数据库解决方案中创建的索引丢失，导致查询时需要进行全表扫描。(2)NoSQL数据库之上的第三方SQL查询引擎目前的发展还达不到关系数据库中查询引擎的性能优化效果，例如细粒度的代价优化机制缺失等。(3)从通用性考虑，这些查询引擎只是将NoSQL作为文件系统之外的一种可选的数据表存储方式。相对分布式文件系统，NoSQL中许多独有的特点如天然索引、排序等，无法被查询引擎所感知。(4)查询被翻译成特定的计算范型，所以查询性能取决于单一的计算框架。因此，面向数据转换方法并不能满足需求。在实际应用中，往往需要开发人员根据应用的特点编写程序来完成特定的转换。而这个过程涉及到大量繁琐的工作，既要根据关系数据库中的设计分析出实际需求，又要考虑如何在NoSQL数据库中实现这些需求。此外，开发人员对于关系数据库和分布式NoSQL数据库的知识都必须熟知。