[发明专利]数据同步的资源分配方法、装置、存储介质和电子设备

说明书

本公开涉及一种数据同步的资源分配方法、装置、存储介质和电子设备，该方法包括：在当前迭代周期内以上一迭代周期内获取到的数据表资源配比执行每个数据表对应的数据同步任务；在该当前迭代周期中的第m个执行周期执行完成后，通过历史执行周期内采集到的每个数据表对应的多组指标参数对资源配比模型进行训练；将在该第m个执行周期采集到n个数据表对应的n组指标参数作为该资源配比模型的输入，以获取目标数据表资源配比；在下一迭代周期内以该目标数据表资源配比执行每个上述数据表对应的数据同步任务。能够根据数据表在不同执行周期的数据同步的执行状况，动态地为数据同步任务分配计算资源，增强资源分配的合理性，提高数据同步的效率。

技术领域

本公开涉及数据同步管理领域，具体地，涉及一种数据同步的资源分配方法、装置、存储介质和电子设备。

背景技术

数据同步即是将一组数据从一个数据源通过拷贝到另一个数据源的技术，数据同步的方式可以包括：存量同构数据源数据同步、存量异构数据源数据同步、实时同构数据源数据同步以及实时异构数据源数据同步。其中，不考虑数据源的同构或异构，存量数据源数据同步即是将数据源中的数据一次性地批量导入到目标数据库中；实时数据源数据同步则需要通过创建轮询任务，周期性地读取数据源库中增量数据并导入到目标数据库中。相关技术中，针对于实时数据源数据同步任务，由于无法预知每一个执行周期内增量数据的数据规模以及所需的计算资源，一般对于在同一执行周期内的每组源数据的数据同步任务都分配相同的计算资源。但是，增量数据的数据规模在一定时间内可能存在极大变化，每个执行周期内所消耗的计算资源也会随之变化，因此，在多表多任务的情况下，仅是将计算资源进行平均分配会造成资源浪费或资源缺失，影响数据同步的效率，进而影响数据同步任务的整体性能。

发明内容

为克服相关技术中存在的问题，本公开的目的是提供一种数据同步的资源分配方法、装置、存储介质和设备。

为了实现上述目的，根据本公开实施例的第一方面，提供一种数据同步的资源分配方法，所述方法包括：

针对于增量数据同步任务对应的n个数据表，在第i个迭代周期内以第一数据表资源配比执行每个所述数据表对应的数据同步任务；其中，所述第一数据表资源配比是在第i-1个迭代周期内获取到的数据表资源配比，所述第i个迭代周期包括m个执行周期，所述执行周期为对数据源中的增量数据进行轮询的时间间隔，m、n为大于1的整数，i为大于或等于1的整数，且i的起始值为1；

在所述第i个迭代周期中的第m个执行周期执行完成后，通过第一训练数据对资源配比模型进行训练，所述第一训练数据包括：历史执行周期内采集到的每个所述数据表对应的多组指标参数，所述历史执行周期包含所述第m个执行周期和所述第m个执行周期之前的所有执行周期；

在完成对所述资源配比模型的训练后，将在所述第i个迭代周期中的第m个执行周期采集到所述n个数据表对应的n组指标参数作为所述资源配比模型的输入，以获取所述资源配比模型输出的目标数据表资源配比；

在第i+1个迭代周期内以所述目标数据表资源配比执行每个所述数据表对应的数据同步任务。

可选的，在所述在第i+1个迭代周期内以所述目标数据表资源配比执行每个所述数据表对应的数据同步任务之前，所述方法还包括：

通过预设的差异度算法确定在所述第i个迭代周期内获取到的所述目标数据表资源配比与在第i-1个迭代周期内获取到的所述第一数据表资源配比之间的差异度；

当所述目标数据表资源配比与所述第一数据表资源配比之间的差异度小于预设差异度时，将第i+1个迭代周期设定为包括w个执行周期，其中，w为根据所述差异度与所述预设差异度的差值确定的执行周期个数，且wm；或者，

当所述目标数据表资源配比与所述第一数据表资源配比之间的差异度大于预设差异度时，将所述第i+1个迭代周期设定为包括m个执行周期。