[发明专利]数据导出方法、数据导出装置、电子设备及介质

说明书

本公开提供了一种应用于第一服务器的数据导出方法。该方法包括：接收执行第一数据导出任务的调用请求；根据所述调用请求的信息，获得所述第一数据导出任务的导出数据量；基于所述第一数据导出任务的导出数据量确定数据导出方式，其中，包括：在所述第一数据导出任务的导出数据量大于等于第一预设阈值时，采用多线程并发导出数据；在所述第一数据导出任务的导出数据量小于第一预设阈值时，采用单线程导出数据；确定至少一个数据导出文件，以将数据导出到所述至少一个数据导出文件中。本公开还提供了一种应用于第二服务器的数据导出方法、装置、电子设备及存储介质。本公开提供的数据导出方法、装置、电子设备及存储介质可用于金融领域或其他领域。

技术领域

本公开涉及金融领域，更具体地，涉及一种数据导出方法、数据导出装置、电子设备及存储介质。

背景技术

随着计算机技术发展，伴随着庞大的数据产生，需要将数据进行收集、存储、导出和分析。利用现有的数据导出功能，用户可以根据选择的数据种类及筛选条件，得到所需要的目标数据。在面对数据量小、业务简单、并发数量少的场景时，现有的数据导出功能可以满足大多数的数据导出需求。

在实现本公开构思的过程中，发明人发现现有技术中至少存在如下问题：在处理大数据量的导出时，会占用大量的系统资源，导致数据导出功能的性能下降，降低用户体验。

发明内容

有鉴于此，本公开实施例提供了一种可以根据导出数据的数据量大小选择不同导出方式的数据导出方法、装置、电子设备及存储介质。

本公开实施例的一个方面提供了一种应用于第一服务器的数据导出方法。所述数据导出方法包括：接收执行第一数据导出任务的调用请求；根据所述调用请求的信息，获得所述第一数据导出任务的导出数据量；基于所述第一数据导出任务的导出数据量确定数据导出方式，其中，包括：在所述第一数据导出任务的导出数据量大于等于第一预设阈值时，采用多线程并发导出数据；在所述第一数据导出任务的导出数据量小于第一预设阈值时，采用单线程导出数据；确定至少一个数据导出文件，以将数据导出到所述至少一个数据导出文件中。

根据本公开的实施例，所述采用多线程并发导出数据包括：将所述第一数据导出任务拆解为N个第二数据导出任务，所述第二数据导出任务的导出数据量小于所述第一预设阈值；采用多线程并发执行N个所述第二数据导出任务，其中，N为大于等于2的整数。

根据本公开的实施例，所述将所述第一数据导出任务拆解为N个第二数据导出任务包括：设置第二预设阈值，所述第二预设阈值小于所述第一预设阈值；从所述第一数据导出任务的起始位置开始，每隔所述第二预设阈值将所述第一数据导出任务的一部分分配给一个所述第二数据导出任务，得到N个所述第二数据导出任务。

根据本公开的实施例，所述采用多线程并发执行N个所述第二数据导出任务包括：确定第一数据导出文件；获取所述第一数据导出任务的导出数据在所述第一数据导出文件中的起始位置；从所述起始位置每隔所述第二预设阈值获得所述第一数据导出文件中的一个导出位置，直至得到N-1个所述导出位置；基于所述起始位置和N-1个所述导出位置将N个所述第二数据导出任务的导出数据写入所述第一数据导出文件。

根据本公开的实施例，所述采用多线程并发执行N个所述第二数据导出任务包括循环执行以下操作，直至将N个所述第二数据导出任务全部导出：确定当前所述第一数据导出任务导出的第二数据导出文件；若所述第二数据导出文件的可用空间大于等于接下来要导出的所述第二数据导出任务的导出数据量，则将所述第二数据导出任务写入所述第二数据导出文件；或者若所述第二数据导出文件的可用空间小于接下来要导出的所述第二数据导出任务的导出数据量，则创建第三数据导出文件，并将所述第二数据导出任务写入所述第三数据导出文件。