[发明专利]网关数据上传数据库连接数控制方法、装置、设备及介质

说明书

本发明公开了一种网关数据上传数据库连接数控制方法，包括以下步骤：获取网关上传的文件，以及文件的时间戳；对文件进行解压缩，将目标文件根据时间戳保存至对应的文件夹中；生成一个缓存线程池，缓存线程池用于管理扫描线程和数据处理线程，使用阻塞队列，存放扫描线程扫描的目标文件，所述数据处理线程从阻塞队列读取目标文件内容，执行上传数据库操作。本发明还公开了网关数据上传数据库连接数控制装置、电子设备及存储介质。本发明通过把要上传的文件暂时保存成目标文件，不直接入库的方式减少对数据库的压力，另外通过专门的文件扫描服务和数据入库服务，限制入库服务启动的最优线程数来进一步控制数据库连接，提高用户体验。

技术领域

本发明涉及数据入库技术领域，尤其涉及一种物联网关数据上传数据库连接数控制方法、装置、电子设备及介质。

背景技术

现在系统的物联网数据采集模块数据上传的方式是设备采集的实时数据统一在网关汇总，然后网关通过4G无线网络或光纤上传到云平台，平台接收到数据后，开启一个线程对数据进行解析校验，验证通过后把数据插入数据库中，然而在网关越来越多的时候数据入库容易造成数据库连接占满，表被锁等情况。试想一下如果数据库连接数上限为100，现在有100个以上网关在同时上传数据，那么数据库很快就占满了连接。从用户使用角度来看，由于数据库连接数占满了，其它数据库请求无法执行，就会出现网页上的请求无法响应，界面出现假死现象，给客户带来非常不好的影响。

发明内容

为了克服现有技术数据库连接出现拥堵及占满，连接数无法释放造成的一系列问题，本发明的目的之一在于提供一种网关数据上传数据库连接数控制方法，其通过把要上传的文件暂时保存成目标文件，不直接入库(上传数据库)的方式减少对数据库的压力，另外通过专门的文件扫描服务和数据入库服务，并限制入库服务启动的最优线程数来进一步控制数据库连接，其中还使用了一个线程安全的阻塞队列LinkedBlockingQueue保证数据有序的入库，提高用户体验。

本发明的目的之二在于提供一种网关数据上传数据库连接数控制装置，其通过把要上传的文件暂时保存成目标文件，不直接入库(上传数据库)的方式减少对数据库的压力，另外通过专门的文件扫描服务和数据入库服务，并限制入库服务启动的最优线程数来进一步控制数据库连接，其中还使用了一个线程安全的阻塞队列LinkedBlockingQueue保证数据有序的入库，提高用户体验。

本发明的目的之三在于提供一种实现上述网关数据上传数据库连接数控制方法的电子设备。

本发明的目的之四在于提供一种存储上述网关数据上传数据库连接数控制方法的计算机可读存储介质。

本发明的目的之一采用如下技术方案实现：

一种网关数据上传数据库连接数控制方法，包括以下步骤：

获取网关上传的文件，以及文件的时间戳；

对所述文件进行解压缩，将目标文件根据所述时间戳保存至对应的文件夹中，所述目标文件为解压缩后的文件；

生成一个缓存线程池，所述缓存线程池用于管理扫描线程和数据处理线程，使用阻塞队列，存放扫描线程扫描的目标文件，所述数据处理线程从所述阻塞队列读取目标文件内容，执行上传数据库操作。

进一步地，网关上传文件的文件名称包括网关的S/N码以及时间戳信息，网关上传文件的后缀名为.tar.gz，所述时间戳信息包括分钟信息。

进一步地，获取网关上传的文件，以及文件的时间戳，之后，还包括：

判断所述时间戳是否大于系统时间，或者是否比系统时间小预设天数，如果时间戳大于系统时间，或者比系统时间小预设天数，则丢弃所述网关上传的文件，所述预设天数为35天。

进一步地，对所述文件进行解压缩，将所述目标文件根据所述时间戳保存至对应的文件夹中，包括：