[发明专利]数据迁移方法和装置

说明书

本申请涉及一种数据迁移方法和装置，所述方法包括：根据预设的数据量阈值，将源数据拆分为若干待传输文件；传输任务启动后，根据所述传输任务的配置信息，将指定数量的待传输文件复制到待传输区域；根据所述传输任务的配置信息，将所述待传输区域中的待传输文件进行传输。本申请的方案对需要迁移的数据进行切分，拆分粒度小，因而失误率更小，即使传输失败也不影响其他的数据文件；拆分后的最小单元数据都先复制到指定的存储区域，即使出现问题也不影响源数据，能够充分保证数据的准确性；将数据拆分后，可操作性强，可随时启动或停止。

技术领域

本申请涉及基础数据精准传输技术领域，具体涉及一种数据迁移方法和装置。

背景技术

因业务需要，有存量巨大的基础数据需要从物流大数据中心同步到其它系统。现有的解决方案，一是基于数据库，从源库导出sql文件，在目标库执行sql文件，进行导入；二是通过传输协议，对数据进行点对点传输。

方案一以SQL形式导出，当数据量过大时，形成的SQL文件过大，因而所需的导入时间太长；如果导入过程中出错，又需要重头再来，很容易丢失数据。通过SQL导入的方式，无法记录错误信息，无法把控数据导入进度，通过不停地修改SQL文件不停地导入实现数据入库；因为导入时间及进度很难把控，影响后续工作安排。

方案二通过传输协议(如：RSF，http，等协议)进行传输，当数据量巨大时，传输时间过长，会造成服务器资源被长时间连续占用，对服务器资源造成很大的压力。

相关技术中，由于所需要传输的数据量过大，以GB甚至TB为单位，大数据量传输过程中，会遇到传输中断、单条数据格式不符合规范、数据丢失等情况，行业内常用的解决方案无法保证传输数据的精准性。如果通过sql进行文件传输，数据压力巨大，并且出错概率高，一旦产生错误无法续传，只能清除已经导入的数据重新导入。目前，大数据量传输的安全性和便捷性，已成了当前重要的研究方向之一。

发明内容

为至少在一定程度上克服相关技术中存在的问题，本申请提供一种数据迁移方法和装置。

根据本申请实施例的第一方面，提供一种数据迁移方法，包括：

根据预设的数据量阈值，将源数据拆分为若干待传输文件；

传输任务启动后，根据所述传输任务的配置信息，将指定数量的待传输文件复制到待传输区域；

根据所述传输任务的配置信息，将所述待传输区域中的待传输文件进行传输。

进一步地，所述将源数据拆分为若干待传输文件，包括：

将源数据按修改时间升序排列；

将排序后的源数据按照数据量阈值导出为待传输文件，每个待传输文件中所包含的数据量不大于数据量阈值；

将导出的待传输文件按顺序进行编号并命名。

进一步地，所述将指定数量的待传输文件复制到待传输区域，包括：

扫描所述待传输区域；

如果没有文件，则将指定数量的待传输文件复制到待传输区域；

在进行复制操作后，如果待传输区域仍然为空，则流程结束并发送通知。

进一步地，所述将指定数量的待传输文件复制到待传输区域，包括：

根据传输任务的配置信息，确定传输文件数N和起始文件；

将N个待传输文件复制到待传输区域，N个待传输文件是从起始文件开始、顺序选取的共N个待传输文件。

进一步地，所述方法还包括：

传输任务启动后，检查是否有正在传输文件；