[发明专利]一种数据迁移方法及系统

权利要求书

1.一种数据迁移方法，所述方法包括：

将已设定好任务的属性元数据转化成数据库查询语句，建立临时数据库，通过所述临时数据库存储待迁移的数据；

执行所述数据库查询语句，将所述待迁移的数据从源数据库中抽取，并将所述待迁移的数据存储到所述临时数据库中；

按照任务中已经定义的数据清洗规则对所述临时数据库中的所述待迁移的数据进行清洗，删除不符合要求的所述待转换的数据，获取清洗后的所述待迁移的数据；

按照任务中已经定义的数据转换规则将清洗后的所述待迁移的数据进行转换，使得转换后的所述待迁移的数据符合目标数据库的存储要求；

将转换后的所述待迁移的数据加载到所述目标数据库中。

2.根据权利要求1所述的方法，所述数据库查询语句为结构化查询语言SQL语句。

3.根据权利要求1所述的方法，还包括：按照设定时间或设定频率执行所述数据迁移方法。

4.根据权利要求1所述的方法，所述不符合要求的数据包括不完整的数据、错误的数据以及重复的数据，其中：

所述不完整的数据为必要信息缺失的数据；

所述错误的数据为没有经过业务系统判断的输入数据，通过所述数据库查询语句挑选所述错误的数据；

所述重复的数据为通过所述数据库查询语句挑选。

5.根据权利要求1所述的方法，所述按照任务中已经定义的数据转换规则将清洗后的所述待迁移的数据进行转换，包括：

所述数据转换规则包括：不一致的数据转换、数据粒度的转换和商务规则的计算；

所述不一致的数据转换是将所述源数据库中的不同业务系统的相同类型的数据进行统一；

所述数据粒度的转换为按照所述目标数据库的要求将所述临时数据库中存储的业务系统的明细数据进行粒度聚合；

所述商务规则的计算为按照商务规则对所述临时数据库中存储的所述待迁移的数据进行计算。

6.一种数据迁移系统，所述系统包括：

初始单元，用于将已设定好任务的属性元数据转化成数据库查询语句，建立临时数据库，通过所述临时数据库存储待迁移的数据；

抽取单元，用于执行所述数据库查询语句，将所述待迁移的数据从源数据库中抽取，并将所述待迁移的数据存储到所述临时数据库中；

清洗单元，用于按照任务中已经定义的数据清洗规则对所述临时数据库中的所述待迁移的数据进行清洗，删除不符合要求的所述待转换的数据，获取清洗后的所述待迁移的数据；

转换单元，用于按照任务中已经定义的数据转换规则将清洗后的所述待迁移的数据进行转换，使得转换后的所述待迁移的数据符合目标数据库的存储要求；

加载单元，用于将转换后的所述待迁移的数据加载到所述目标数据库中。

7.根据权利要求6所述的系统，所述数据库查询语句为结构化查询语言SQL语句。

8.根据权利要求6所述的系统，还包括调试服务单元，用于按照设定时间或设定频率执行所述数据迁移方法。

9.根据权利要求6所述的系统，所述不符合要求的数据包括不完整的数据、错误的数据以及重复的数据，其中：

所述不完整的数据为必要信息缺失的数据；

所述错误的数据为没有经过业务系统判断的输入数据，通过所述数据库查询语句挑选所述错误的数据；

所述重复的数据为通过所述数据库查询语句挑选。

10.根据权利要求6所述的系统，所述转换单元用于按照任务中已经定义的数据转换规则将清洗后的所述待迁移的数据进行转换，包括：

所述数据转换规则包括：不一致的数据转换、数据粒度的转换和商务规则的计算；

所述不一致的数据转换是将所述源数据库中的不同业务系统的相同类型的数据进行统一；

所述数据粒度的转换为按照所述目标数据库的要求将所述临时数据库中存储的业务系统的明细数据进行粒度聚合；

所述商务规则的计算为按照商务规则对所述临时数据库中存储的所述待迁移的数据进行计算。