[发明专利]一种实现数据处理批量入库的方法和系统

说明书

本发明公开了一种实现数据处理批量入库的方法，该方法包括以下步骤：启动数据处理服务，然后将SQL脚本解析并存储到内存中；按照接口形态配置解析后的SQL脚本；将多个请求中的数据按照接口形态归类；将归类的数据压入队列；将配置后的SQL脚本与数据进行匹配；以及将具有同一接口形态的数据与配置后的SQL脚本进行拼接。本发明的方法解决了服务端并发请求数过高的情况，使服务端处理数据的吞吐量增加，并且解决了服务端处理并发数据中断异常和数据处理不安全的问题。

技术领域

本发明涉及数据库存储领域，更具体地，特别是指一种实现数据处理批量入库的方法和系统。

背景技术

在现代信息化系统中，根据实际业务需要往往需要将大量的数据集中存储，而数据库系统就是一种能够实现上述目的的应用系统。数据库是按照数据结构来组织、存储和管理数据的建立在计算机存储设备上的仓库。简单来说是本身可视为电子化的文件柜——存储电子文件的处所，用户可以对文件中的数据进行新增、截取、更新、删除等操作。

在现有技术中，数据的采集和写入数据库通常采用同步方式，这种在数据库层面实现数据同步的方式的问题及缺点是：

1.如果在高并发的情况下，读写不一致(读的快，写的慢)会造成数据丢失；

2.同步插入数据，需要处理完成后，接口才能返回，系统响应慢，吞吐量低，并发低。

发明内容

有鉴于此，本发明实施例的目的在于提出一种实现数据处理批量入库的方法和系统，能够解决服务端接口并发请求数过高的问题，使服务端处理数据的吞吐量增加，并且能够解决服务端处理并发数据中断异常和数据处理不安全的问题。

基于上述目的，本发明实施例的一方面提供了一种实现数据处理批量入库的方法，所述方法包括以下步骤：

启动数据处理服务，然后将SQL脚本解析并存储到内存中；

按照接口形态配置解析后的所述SQL脚本；

将多个请求中的数据按照所述接口形态归类；

将归类的所述数据压入队列；

将配置后的所述SQL脚本与所述数据进行匹配；以及

将具有同一接口形态的所述数据与配置后的所述SQL脚本进行拼接。

在一些实施方式中，采用异步线程将所述SQL脚本解析。

在一些实施方式中，将所述SQL脚本解析为SqlElement对象并将所述SqlElement对象存储到内存中。

在一些实施方式中，每一种接口形态对应一种业务数据的上报结构。

在一些实施方式中，对压入队列的所述数据进行轮询解析，并根据所述接口形态将配置后的所述SQL脚本与所述数据进行匹配。

在一些实施方式中，将具有同一接口形态的所述数据拼接为一条 SQL语句入库。

本发明实施例的另一方面，还提供了一种实现数据处理批量入库的系统，所述系统执行上述方法。

本发明实施例的另一方面，还提供了一种计算机设备，包括存储器、至少一个处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时执行上述方法。

本发明实施例的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时执行上述方法。

本发明实施例的另一方面，还提供了一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算程序，所述计算程序包括指令，当所述指令被计算机执行时，使所述计算机执行上述方法。