[发明专利]数据导出方法、装置、电子设备和存储介质

说明书

本发明实施例涉及通信领域，公开了一种数据导出方法、装置、电子设备和存储介质。数据导出方法包括：获取对数据库进行数据导出时需要生成的导出文件数量F；获取进行所述数据导出工作的硬件设备可用线程数量P；采用所述P个可用线程并行对所述数据库执行至少两个数据导出任务，基于对所述数据库执行数据导出任务导出的数据，生成F个导出文件。应用在mongoDB中，实现快速数据导出。

技术领域

本发明实施例涉及通信领域，特别涉及一种数据导出方法、装置、电子设备和存储介质。

背景技术

MongoDB是一种由C++语言编写的基于分布式文件存储的开源数据库系统。在现有技术中，当需要对MongoDB进行数据导出时，首先，获取数据导出需要生成的新文件个数，然后，从MongoDB导出数据，按照队列的方式依次生成每个新文件。具体地，生成每个新文件的方法可以包括：首先，采用分页查询命令从MongoDB中查询数据，然后，将查询到的数据根据自定义的规则组装成结果数据，最后，将结果数据写入到对应的新文件中。

然而，在实现本发明实施例的过程中，发明人发现：当MongoDB中待导出的数据量较大时，现有技术从MongoDB导出数据，按照队列的方式依次生成每个新文件的方法效率较低，数据导出速度较慢。

发明内容

本发明实施方式的目的在于提供一种数据导出方法、装置、电子设备和存储介质，能够提高数据导出速度。

为解决上述技术问题，本发明的实施方式提供了一种数据导出方法，包括：获取对数据库进行数据导出时需要生成的导出文件数量F；获取进行所述数据导出工作的硬件设备可用线程数量P；采用所述P个可用线程并行对所述数据库执行至少两个数据导出任务，基于对所述数据库执行数据导出任务导出的数据，生成F个导出文件；其中，采用所述P个可用线程并行对所述数据库执行至少两个数据导出任务，包括：在采用单个可用线程对所述数据库执行单个数据导出任务时，若执行所述单个数据导出任务查询到的数据总量大于单个所述导出文件的数据最大存储量，则从所述查询到的数据总量中，按照查询时间由先至后的顺序导出所述预定数据存储量的数据，作为执行所述单个数据导出任务导出的数据。

本发明的实施方式还提供了一种数据导出装置，包括：

第一获取模块，用于获取对数据库进行数据导出时需要生成的导出文件数量F；

第二获取模块，用于获取进行所述数据导出工作的硬件设备可用线程数量P；

生成模块，用于采用所述第二获取模块获取的所述P个可用线程并行对所述数据库执行至少两个数据导出任务，基于对所述数据库执行数据导出任务导出的数据，生成F个导出文件；其中，采用所述P个可用线程并行对所述数据库执行至少两个数据导出任务，包括：在采用单个可用线程对所述数据库执行单个数据导出任务时，若执行所述单个数据导出任务查询到的数据总量大于单个所述导出文件的数据最大存储量，则从所述查询到的数据总量中，按照查询时间由先至后的顺序导出所述预定数据存储量的数据，作为执行所述单个数据导出任务导出的数据。

本发明的实施方式还提供了一种电子设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行以上所述的数据导出方法。

本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现以上所述的数据导出方法。