[发明专利]数据导入方法、装置、设备及计算机程序产品

权利要求书

1.一种数据导入方法，其特征在于，所述数据导入方法包括：

确定对目标数据库的并发数据导入任务；

获取各所述并发数据导入任务上一次的实际导入速率；

计算各所述并发数据导入任务上一次的实际导入速率之和，得到当前并发导入速率；

若所述当前并发导入速率大于0，则获取所述目标数据库的安全每秒处理事务数TPS、安全每秒进行读写操作的次数IOPS、当前TPS和当前IOPS；

计算所述当前TPS与所述安全TPS之差，得到TPS偏差，计算所述当前IOPS与所述安全IOPS之差，得到IOPS偏差；

根据所述TPS偏差和IOPS偏差的大小，确定偏差值较大的目标当前指标，所述目标当前指标为所述当前TPS和当前IOPS中的一个；

根据所述目标当前指标和所述并发数据导入任务的预设优先级确定各所述并发数据导入任务的最优导入速率，按照与各所述并发数据导入任务按照对应的最优导入速率执行所述并发数据导入任务。

2.如权利要求1所述的数据导入方法，其特征在于，所述根据所述目标当前指标和所述并发数据导入任务的预设优先级确定各所述并发数据导入任务的最优导入速率的步骤包括：

根据所述并发数据导入任务的数量和各所述并发数据导入任务的预设优先级，确定各所述并发数据导入任务的并发资源占比；

根据所述目标当前指标对应的目标安全指标、所述目标当前指标和当前并发导入速率，确定期待并发导入速率；

计算各所述并发数据导入任务的所述并发资源占比和期待并发导入速率之积，作为所述并发数据导入任务的最优导入速率。

3.如权利要求1所述的数据导入方法，其特征在于，所述确定对目标数据库的并发数据导入任务的步骤之前，还包括：

获取对目标数据库的原始数据导入任务，基于所述目标数据库的预设最大并发值控制各所述原始数据导入任务进行抢锁；

将抢锁成功的原始数据导入任务确定为并发数据导入任务。

4.如权利要求3所述的数据导入方法，其特征在于，所述基于所述目标数据库的预设最大并发值控制各所述原始数据导入任务进行抢锁的步骤包括：

确定所述原始数据导入任务中存在依赖关系的依赖任务组和不存在依赖关系的非依赖任务组；其中，所述依赖任务组中的原始数据导入任务按照依赖关系顺序抢锁；

基于所述目标数据库的预设最大并发值，控制所述依赖任务组和所述非依赖任务组进行抢锁，其中，每一所述依赖任务组在同一时刻的允许抢锁任务的数量为1。

5.如权利要求3所述的数据导入方法，其特征在于，所述获取对目标数据库的原始数据导入任务的步骤之前，还包括：

接收数仓数据导出请求，根据所述数仓数据导出请求获取填写于预设导出任务配置表页面中的数仓数据导出信息；所述数据导出信息包括源数仓信息、目标导出数据信息和目标数据库信息；

基于所述数据导出信息生成对目标数据库的原始数据导入任务。

6.如权利要求1所述的数据导入方法，其特征在于，所述获取所述目标数据库的当前TPS的步骤包括：

获取所述目标数据库从上一次启动至当前时刻所执行的第一更新语句数量、第一删除语句数量和第一插入语句数量；

在距所述当前时刻预设时长的第二时刻，获取所述目标数据库从上一次启动至所述第二时刻所执行的第二更新语句数量、第二删除语句数量和第二插入语句数量；

根据所述第一更新语句数量、第一删除语句数量、第一插入语句数量、第二更新语句数量、第二删除语句数量和第二插入语句数量和所述预设时长确定当前TPS。