[发明专利]一种批量数据导入方法及装置

权利要求书

1.一种批量数据导入方法，所述批量数据导入方法基于批量数据导入系统，所述系统包括服务器、预先训练的配置生成模型和数据库；所述方法包括：

获取待导入的数据；

根据所述待导入的数据，生成多个任务；

将所述待导入的数据的信息和所述服务器的硬件参数，输入预先训练的配置生成模型，得到所述配置生成模型输出的参数配置信息；

根据所述参数配置信息，对所述服务器进行配置，得到配置后的服务器；

采用所述配置后服务器，对各任务进行处理，以将任务对应的批量数据导入所述数据库。

2.根据权利要求1所述的方法，其特征在于，所述预先训练的配置生成模型是通过以下步骤得到：

根据历史中进行批量数据导入时获取到的数据的信息，得到训练样本；

将所述训练样本和服务器的硬件参数输入待训练的配置生成模型，得到待训练的配置生成模型输出的待定参数配置信息；

采用所述待定参数配置信息对所述服务器进行配置，得到待定服务器；

采用所述待定服务器对所述训练样本对应的数据得到的各任务进行处理，根据处理的效果确定待训练的配置生成模型的损失；

以损失最小化为训练目标，对所述待训练的配置生成模型的参数进行调整，得到预先训练的配置生成模型。

3.根据权利要求1所述的方法，其特征在于，所述待导入的数据的信息包括待导入的数据的量、待导入的数据的格式中的至少一种。

4.根据权利要求1所述的方法，其特征在于，所述参数配置信息包括主线程数、辅线程数、各线程处理任务的第一粒度、缓冲池的容量、读取文件的缓冲池大小、允许执行失败次数、失败次数阈值、第二粒度中的至少一种；其中，所述第二粒度时对处理失败的任务进行在再次处理时对处理失败的任务重新确定的粒度。

5.根据权利要求1所述的方法，其特征在于，采用所述配置后服务器，对各任务进行处理，包括：

所述服务器的主线程将所述待导入的数据读取到缓冲池；

辅线程从所述缓冲池中获取待导入的数据，并根据获取到的待导入的数据执行该辅线程对应的任务。

6.根据权利要求4所述的方法，其特征在于，所述方法还包括：

若进行任务进行处理时采用的任一辅线程出现异常，则在所述服务器的缓冲池中不存在待导入的数据时，将由该异常的辅线程处理的任务分配至其他辅线程重新进行处理。

7.根据权利要求6所述的方法，其特征在于，将由该异常的辅线程处理的任务分配至其他辅线程重新进行处理，包括：

将由该异常的辅线程处理的任务确定为目标任务；

根据所述预先训练的配置生成模型输出的第二粒度，将所述目标任务划分为若干个子任务，分配至出异常辅线程以外的其他辅线程。

8.根据权利要求6所述的方法，其特征在于，将由该异常的辅线程处理的任务分配至其他辅线程重新进行处理，包括：

将由该异常的辅线程处理的任务的执行失败次数记录为1，并在此后，根据对由该异常的辅线程处理的任务再次执行失败的情况，更新执行失败次数；

在所述更新后的执行失败次数达到预先训练的配置生成模型输出的失败次数阈值时，生成告警信息并展示。

9.根据权利要求1至8任一所述的方法，其特征在于，所述配置生成模型是RNN模型。