[发明专利]通用的数据迁移方法和装置

说明书

技术领域

本发明涉及计算机技术领域，尤其涉及一种通用的数据迁移方法和装置。

背景技术

网上商城是时代发展的趋势。其实现主要有两大模块，即后台和前端界面。后台常见的功能模块包括商品管理、订单管理、支付方式和物流配送等。前端界面常见的功能模块包括模板风格、商品展示、购物车等。

对于各功能模块来说，数据量会随着时间的推移而增大。数据量增大会导致功能模块运行缓慢。当对功能模块中的数据进行查询时，运行缓慢的功能模块会影响查询效率。因此，有必要对功能模块中不再使用的数据进行迁移，以保持运行速度。

现有的解决方案为各功能模块都有自己的数据迁移实现方式。各功能模块的数据迁移实现方式只针对自身模块进行，有自己独特的逻辑架构。由于各功能模块中的数据有自身的特点，需要不同的逻辑架构，因此现有的数据迁移实现方式无法在各功能模块上通用。

由于现有的数据迁移实现方式无法通用，因而浪费了大量的开发资源和时间。

发明内容

有鉴于此，本发明提供一种通用的数据迁移方法和装置，以解决上述问题。

一种通用的数据迁移方法，所述方法包括：

获取用户配置的数据迁移的条件；

根据数据迁移的条件建立进行数据迁移的任务；

在建立的数据迁移的任务下对不期望的数据进行采集；

将采集到的不期望的数据迁移到历史库中。

优选地，所述进行数据迁移的任务包括采集任务和迁移任务。

优选地，对不期望的数据进行采集包括：

针对一次采集任务，获取所述采集任务已经执行到的最大记录数；

判断所述采集任务已经执行到的最大记录数是否为0或者超过了采集任务的数据区间范围的最大值；

若所述采集任务已经执行到的最大记录数既不为0也没有超过采集任务的数据区间范围的最大值，则分配在本次采集任务中将要进行的下一轮采集的数据区间范围；

在所述数据区间范围采集不期望的数据。

可选地，若所述采集任务已经执行到的最大记录数为0或者超过了采集任务的数据区间范围的最大值，则从数据迁移的条件中获取采集任务的数据区间范围。

优选地，将采集到的不期望的数据迁移到历史库中包括：

将采集到的不期望的数据分片存储到待迁移任务列表中；

对待迁移任务列表中的不期望的数据进行分片，获得分片的不期望的数据；

将分片的不期望的数据迁移到历史库中。

一种通用的数据迁移装置，所述装置包括：

第一获取单元，用于获取用户配置的数据迁移的条件；

建立单元，用于根据数据迁移的条件建立进行数据迁移的任务；

至少一个采集任务分配器，用于在建立的数据迁移的任务下对不期望的数据进行采集；

迁移任务分配器，用于将采集到的不期望的数据迁移到历史库中。

优选地，所述进行数据迁移的任务包括采集任务和迁移任务。

优选地，所述采集任务分配器包括：

第二获取单元，用于针对一次采集任务，获取所述采集任务已经执行到的最大记录数；

判断单元，用于判断所述采集任务已经执行到的最大记录数是否为0或者超过了采集任务的数据区间范围的最大值；

分配单元，用于若所述采集任务已经执行到的最大记录数既不为0也没有超过采集任务的数据区间范围的最大值，则分配在本次采集任务中将要进行的下一轮采集的数据区间范围；

采集单元，用于在所述数据区间范围采集不期望的数据。

可选地，所述采集任务分配器还包括：

第三获取单元，用于若所述采集任务已经执行到的最大记录数为0或者超过了采集任务的数据区间范围的最大值，则从数据迁移的条件中获取采集任务的数据区间范围。

优选地，所述迁移任务分配器包括：

存储单元，用于将采集到的不期望的数据分片存储到待迁移任务列表中；

分片单元，用于对待迁移任务列表中的不期望的数据进行分片，获得分片的不期望的数据；

迁移单元，用于将分片的不期望的数据迁移到历史库中。

在本发明中，用户可以根据自己的需要对需要迁移的单表或多表配置数据迁移的条件，从而实现了通用的数据迁移，无需自己进行代码开发，节省了大量的开发资源和时间。

附图说明

图1为本发明一个实施例的框架图；

图2为本发明一个实施例的方法流程图；

图3为本发明一个实施例的涉及用户进行配置的方法流程图；