[发明专利]数据处理方法、装置、计算机可读存储介质及处理器

说明书

本发明公开了一种数据处理方法、装置、计算机可读存储介质及处理器。其中，该方法包括：获取数据配置信息；将数据配置信息加载至Shell脚本，并执行Shell脚本的第一预设指令，以连接至少一个分库数据库；从至少一个分库数据库抽取数据，并写入到数据分片文件中。本发明解决了相关技术中采用应用程序直连接数据库方式抽取数据，容易对应用性能和数据库性能产生不利影响的技术问题。

技术领域

本发明涉及数据处理技术领域，具体而言，涉及一种数据处理方法、装置、计算机可读存储介质及处理器。

背景技术

针对业务水平分库的数据有合并汇总分析需求时，通常采用的处理方式有两种：一种是在应用程序中利用分库中间件(例如，mycat)直接操作分库进行数据合并汇总分析；一种是采用程序将分库数据离线抽取到大数据平台进行离线计算分析。此两种方法均采用应用程序直连接数据库方法抽取数据，对应用性能和数据库性能均有一定要求和影响，并且抽取的数据库表发生变更时需要改动应用程序重新发布。

另外，现有技术通常采用Java语言开发批量程序，通过JDBC连接方式查询数据库数据，再将数据写入到数据文件中。此种方法对Java应用的内存使用损耗较高，会间接影响其他批量程序执行。并且，一般情况Java批量应用是与数据库主库连接，抽取业务数据过程中，会对数据库主库产生一定性能压力，压力过大可能会影响正常业务处理。另外，使用Java应用频繁读写数据文件，I/O读写效率不高。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种数据处理方法、装置、计算机可读存储介质及处理器，以至少解决相关技术中采用应用程序直连接数据库方式抽取数据，容易对应用性能和数据库性能产生不利影响的技术问题。

根据本发明实施例的一个方面，提供了一种数据处理方法，包括：获取数据配置信息；将所述数据配置信息加载至Shell脚本，并执行所述Shell脚本的第一预设指令，以连接至少一个分库数据库；从所述至少一个分库数据库抽取数据，并写入到数据分片文件中。

可选地，在获取数据配置信息之前，还包括：接收查询配置指令；依据所述查询配置指令，从抽数配置库中加载出所述数据配置信息，其中，所述数据配置信息包括以下至少之一：数据库名、数据表名、指定抽取sql、数据抽取时间、每个文件允许数据量。

可选地，从所述至少一个分库数据库抽取数据，并写入到数据分片文件中，包括：调用所述Shell脚本；执行所述Shell脚本的第二预设指令，将所述至少一个分库数据库抽取的数据写入到所述数据分片文件中。

可选地，在从所述至少一个分库数据库抽取数据，并写入到数据分片文件中之后，还包括：对所述数据分片文件进行预设处理操作，其中，所述预设处理操作至少包括：汇总、格式化、切割。

可选地，对所述数据分片文件进行预设处理操作，包括：执行所述Shell脚本的第三预设指令，将所述数据分片文件进行汇总，得到原始数据文件；执行所述Shell脚本的第四预设指令，将所述原始数据文件进行格式化处理，得到格式化文件；执行所述Shell脚本的第五预设指令，将所述格式化文件进行切割处理，得到目标文件，其中，所述目标文件为经切割后达到预设配置大小的文件。

可选地，在执行所述Shell脚本的第五预设指令，将所述格式化文件进行切割处理，得到目标文件的同时，还包括：生成所述目标文件的附属校验文件和检查文件。

可选地，在对所述数据分片文件进行预设处理操作之后，还包括：获取所述目标文件的文件目录；依据所述目标文件的文件目录，并调用应用程序接口，将所述目标文件上传至文件存储系统。