[发明专利]数据处理方法、装置、计算机可读存储介质及处理器

权利要求书

1.一种数据处理方法，其特征在于，包括：

获取数据配置信息；

将所述数据配置信息加载至Shell脚本，并执行所述Shell脚本的第一预设指令，以连接至少一个分库数据库；

从所述至少一个分库数据库抽取数据，并写入到数据分片文件中。

2.根据权利要求1所述的方法，其特征在于，在获取数据配置信息之前，还包括：

接收查询配置指令；

依据所述查询配置指令，从抽数配置库中加载出所述数据配置信息，其中，所述数据配置信息包括以下至少之一：数据库名、数据表名、指定抽取sql、数据抽取时间、每个文件允许数据量。

3.根据权利要求1所述的方法，其特征在于，从所述至少一个分库数据库抽取数据，并写入到数据分片文件中，包括：

调用所述Shell脚本；

执行所述Shell脚本的第二预设指令，将所述至少一个分库数据库抽取的数据写入到所述数据分片文件中。

4.根据权利要求1至3中任一项所述的方法，其特征在于，在从所述至少一个分库数据库抽取数据，并写入到数据分片文件中之后，还包括：

对所述数据分片文件进行预设处理操作，其中，所述预设处理操作至少包括：汇总、格式化、切割。

5.根据权利要求4所述的方法，其特征在于，对所述数据分片文件进行预设处理操作，包括：

执行所述Shell脚本的第三预设指令，将所述数据分片文件进行汇总，得到原始数据文件；

执行所述Shell脚本的第四预设指令，将所述原始数据文件进行格式化处理，得到格式化文件；

执行所述Shell脚本的第五预设指令，将所述格式化文件进行切割处理，得到目标文件，其中，所述目标文件为经切割后达到预设配置大小的文件。

6.根据权利要求5所述的方法，其特征在于，在执行所述Shell脚本的第五预设指令，将所述格式化文件进行切割处理，得到目标文件的同时，还包括：

生成所述目标文件的附属校验文件和检查文件。

7.根据权利要求5所述的方法，其特征在于，在对所述数据分片文件进行预设处理操作之后，还包括：

获取所述目标文件的文件目录；

依据所述目标文件的文件目录，并调用应用程序接口，将所述目标文件上传至文件存储系统。

8.一种数据处理装置，其特征在于，包括：

第一获取模块，用于获取数据配置信息；

执行模块，用于将所述数据配置信息加载至Shell脚本，并执行所述Shell脚本的第一预设指令，以连接至少一个分库数据库；

抽取模块，用于从所述至少一个分库数据库抽取数据，并写入到数据分片文件中。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至7中任意一项所述的数据处理方法。

10.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至7中任意一项所述的数据处理方法。