[发明专利]数据迁移的方法、系统、设备及计算机可读存储介质

说明书

本发明提供一种关系型数据库向Neo4j数据迁移的方法、系统、设备及可读存储介质，其中方法包括：S1.关系数据以相关数据流向的数据列级进行唯一标识构建数据索引；S2.编写相关cql文件代码，内容为执行APOC批量执行mysql查询的cypher语句；S3.编写迁移脚本文件执行数据迁移；S4.查询验证数据迁移内容的准确性。根据本发明的方案，实现了关系型数据库如mysql的数据向Neo4j之间的数据迁移，解决现有的数据导入问题。本发明基于APOC插件的调用，可以实现热迁移策略，无需停止服务再重启；通过建立合适的索引，使得数据关系导入更加迅速，经过实地测试，往往在几个数量级时间的差距；编写合适的Cypher、mysql迁移语句，避免语句中间多次嵌套。通过以上多种方式，提高相关数据迁移性能。

技术领域

本发明涉及计算机数据库技术领域，尤其涉及一种关系型数据库向Neo4j数据迁移的方法、系统、设备和可读存储介质。

背景技术

现有技术对数据迁移主要是通过Load CSV或者neo4j-import全量导入进行数据迁移。

现有技术存在以下缺陷：

1、Load CSV方式适用于数据量较小的方式，对于较大数据量的导入效率较低。neo4j-import适合大数据量的导入，但它的数据迁移主要是冷备份，需要停止Neo4j数据库服务，再进行csv文件的相关导入，对用户体验不够友好。

2、对于Neo4j直接遍历全部路径的图算法，在关系间建立速度会比较慢，索引的合适创建及优化显得尤为重要。

发明内容

针对上述问题，本发明设计出了一种关系型数据库向Neo4j数据迁移的方法、系统、设备和可读存储介质，实现关系型数据库如mysql的数据向Neo4j之间的数据迁移，解决现有的数据导入相关问题。

本发明的一个方案是一种关系型数据库向Neo4j数据迁移的方法，包括：

S1.关系数据以相关数据流向的数据列级进行唯一标识构建数据索引；

S2.编写相关cql文件代码，内容为执行APOC批量执行mysql查询的cypher语句；

S3.编写迁移脚本文件执行数据迁移；

S4.查询验证数据迁移内容的准确性。

在本发明的方案中，S1步骤中，将关系数据信息导入mysql数据库，对数据列级中的表级数据和字段级数据分别进行唯一标识；

所述表级数据通过source_Id、target_Id和tab_Id进行唯一标识，所述字段级数据通过source_Id、target_Id、tab_Id和col_Id进行唯一标识。

在本发明的方案中，S1步骤中，建立表级数据索引和唯一性约束，以及字段级数据索引和唯一性约束。

在本发明的方案中，S2步骤中，编写tableRelation.cql和columnRelation.cql文件进行表级数据和字段级数据的导入，调用apoc.periodic.iterate()函数批量执行，其中执行的是apoc.load.jdbc连接mysql，执行sql查询遍历。

在本发明的方案中，S3步骤中，编写data_migration.sh脚本，通过cypher-shell连接Neo4j数据库，之后在其中执行之前的cql文件，并将结果返回值输出重定向到一个result.txt中便于查看。

在本发明的方案中，S4步骤中，在Cypher-shell或者bolt协议连接的浏览器中，执行相关Cypher语句进行相关节点和关系的准确性验证。