[发明专利]将数据库中数据导出成文本文件的方法及装置

说明书

本发明提供一种将数据库中数据导出成文本文件的方法及装置，其中，该方法包括：基于数据库中待导出的数据表的数据量，对待导出的数据表进行批次划分，确定每个批次的目标数据表；获取每个批次的目标数据表的导出配置信息；基于每个批次的目标数据表的导出配置信息，生成每个批次的目标数据表对应的文本文件模板；通过多个线程，基于每个批次的目标数据表和每个批次的目标数据表对应的文本文件模板，生成每个批次的目标数据表对应的文本文件。本发明提供的将数据库中数据导出成文本文件的方法及装置，通过将待导出的数据表进行分批处理，根据目标数据表的导出配置信息自动产生文本文件模板，多线程并发进行文件生成，能提高效率。

技术领域

本发明涉及数据库技术领域，尤其涉及一种将数据库中数据导出成文本文件的方法及装置。

背景技术

在不同类型数据库之间进行库对库迁移过程中，常常需要将数据库中的数据导出成固定格式的文本文件。

目前，常通过直接导出后缀为dmp的DMP文件或通过个性化开发应用程序，逐个数据表进行文件导出。对于不同类型的数据库，DMP文件等各自数据库的特殊文件并不适配其他类型数据库。

因此，面对整库级别(至少是大量数据表级别)的文件导出需求时，逐个数据表导出文件的方法需要大量数据源适配、客户化文件模版等方面的开发操作，每次在进行此类工作时均需要重新开发，产生大量的重复劳动，且效果并不佳。面临大数据量进行统一格式规范要求的情况下，如何快速、有效地完成数据导出是个较为普遍的问题。

综上，现有技术存在导出数据的效率较低的不足。

发明内容

本发明提供一种将数据库中数据导出成文本文件的方法及装置，用以解决现有技术中的数据导出效率低的缺陷，实现更高效地将数据库中数据导出成文本文件。

本发明提供一种将数据库中数据导出成文本文件的方法，包括：

基于数据库中待导出的数据表的数据量，对所述待导出的数据表进行批次划分，确定每个批次的目标数据表；

获取每个批次的目标数据表的导出配置信息；

基于所述每个批次的目标数据表的导出配置信息，生成所述每个批次的目标数据表对应的文本文件模板；

通过多个线程，基于所述每个批次的目标数据表和所述每个批次的目标数据表对应的文本文件模板，生成所述每个批次的目标数据表对应的文本文件。

根据本发明提供的一种将数据库中数据导出成文本文件的方法，所述通过多个线程，基于所述每个批次的目标数据表和所述每个批次的目标数据表对应的文本文件模板，生成所述每个批次的目标数据表对应的文本文件，包括：

建立主线程池，启动所述主线程池中的各线程；

在所述每个批次的目标数据表中不存在数据量大于目标阈值的第一数据表的情况下，通过所述主线程池中的各线程，基于所述每个批次的目标数据表和所述每个批次的目标数据表对应的文本文件模板，生成所述每个批次的目标数据表对应的文本文件；

其中，所述主线程池包括多个线程。

根据本发明提供的一种将数据库中数据导出成文本文件的方法，所述建立主线程池，启动所述主线程池中的各线程之后，还包括：

在所述每个批次的目标数据表中存在数据量大于目标阈值的第一数据表的情况下，建立子线程池，启动所述子线程池中的各线程；

通过所述子线程池中的各线程，基于所述第一数据表和所述第一数据表对应的文本文件模板，生成所述第一数据表对应的文本文件，并通过所述主线程池中的各线程，基于第二数据表和所述第二数据表对应的文本文件模板，生成所述第一数据表对应的文本文件；