[发明专利]一种数据迁移方法及系统

说明书

本发明公开了一种数据迁移方法，所述方法包括：将已设定好任务的属性元数据转化成数据库查询语句，建立临时数据库，通过所述临时数据库存储待迁移的数据；执行所述数据库查询语句，将所述待迁移的数据从源数据库中抽取，并将所述待迁移的数据存储到所述临时数据库中；按照任务中已经定义的数据清洗规则对所述临时数据库中的所述待迁移的数据进行清洗，删除不符合要求的所述待转换的数据，获取清洗后的所述待迁移的数据；按照任务中已经定义的数据转换规则将清洗后的所述待迁移的数据进行转换，使得转换后的所述待迁移的数据符合目标数据库的存储要求；将转换后的所述待迁移的数据加载到所述目标数据库中。

技术领域

本发明涉及数据库应用技术领域，更具体地，涉及一种数据迁移方法及系统。

背景技术

随着国产软件的数量逐渐增多，应用范围越来越广，政府对国产软件进行了大力的支持，使得国产软件得到了迅速的发展。国产数据库是国产软件的代表之一。目前安全可靠替代工程逐步开展，为支撑多个并行工程的执行，缩短单项工程的实施周期，支持已有X86环境中异构数据的迁移，将数据对象从其他数据库移植到国产数据库，达到快速准确无损的数据迁移，需要开发出安全可靠数据迁移工具。

神通数据库、达梦数据库、人大金仓数据库作为大型的国产数据库，以其操作简单，通用性强、优质的技术服务等特点获得了越来越多的用户支持和青睐。国产数据库无论是在功能上还是在性能上均获得了业界的一致好评。使用国产数据库来开发新的应用系统，以及将现有系统移植到国产数据库中，已经获得了用户的支持和认可。国内许多的应用系统都使用了国产数据库，其应用广泛分布在航天单位，政府部门、事业单位、军队等。

随着安全可靠市场一期二的建立，系统的不断升级优化，各省的安全可靠数据越来越多，面临着大量的数据迁移、备份、保护。目前市场传统的迁移工具无法满足安全可靠市场的数据迁移备份保护工作。

数据交换平台就是从各种数据源(包括各种格式文件、不同类型关系数据库、非关系数据库)通过接口，按照可定制的规则抽取数据，然后对其进行清洗、转换，最后形成统一格式的目标数据加载到数据仓库中。然而，现有的数据迁移平台，不能满足现有的数据迁移的速度和安全。在国产化安全可靠领域方面，现在仅有几款数据交换平台在支持国产数据库的广泛性，使用的易用性还有所欠缺。

因此，需要一种技术，以实现一种数据迁移技术。

发明内容

本发明技术方案提供了一种数据迁移方法及系统，以解决如何进行数据安全迁移的问题。

为了解决上述问题，本发明提供了一种数据迁移方法，所述方法包括：

将已设定好任务的属性元数据转化成数据库查询语句，建立临时数据库，通过所述临时数据库存储待迁移的数据；

执行所述数据库查询语句，将所述待迁移的数据从源数据库中抽取，并将所述待迁移的数据存储到所述临时数据库中；

按照任务中已经定义的数据清洗规则对所述临时数据库中的所述待迁移的数据进行清洗，删除不符合要求的所述待转换的数据，获取清洗后的所述待迁移的数据；

按照任务中已经定义的数据转换规则将清洗后的所述待迁移的数据进行转换，使得转换后的所述待迁移的数据符合目标数据库的存储要求；

将转换后的所述待迁移的数据加载到所述目标数据库中。

优选地，所述数据库查询语句为结构化查询语言SQL语句。

优选地，还包括：按照设定时间或设定频率执行所述数据迁移方法。

优选地，所述不符合要求的数据包括不完整的数据、错误的数据以及重复的数据，其中：

所述不完整的数据为必要信息缺失的数据；