[发明专利]网关数据上传数据库连接数控制方法、装置、设备及介质在审
申请号: | 201811158571.2 | 申请日: | 2018-09-30 |
公开(公告)号: | CN109525632A | 公开(公告)日: | 2019-03-26 |
发明(设计)人: | 温桂龙;王炜;连朔 | 申请(专利权)人: | 珠海派诺科技股份有限公司 |
主分类号: | H04L29/08 | 分类号: | H04L29/08;H04L29/06;G06F16/25 |
代理公司: | 广州市越秀区哲力专利商标事务所(普通合伙) 44288 | 代理人: | 秦维;汪卫军 |
地址: | 519085 广东省珠海市高新*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 上传 数据库连接 目标文件 网关数据 数据处理线程 扫描线程 缓存线 时间戳 阻塞 队列 入库 数据库操作 数控制装置 文件夹 存储介质 电子设备 读取目标 服务启动 数据入库 文件内容 文件扫描 用户体验 解压缩 线程数 保存 网关 数据库 扫描 服务 管理 | ||
1.一种网关数据上传数据库连接数控制方法,其特征在于包括以下步骤:
获取网关上传的文件,以及文件的时间戳;
对所述文件进行解压缩,将目标文件根据所述时间戳保存至对应的文件夹中,所述目标文件为解压缩后的文件;
生成一个缓存线程池,所述缓存线程池用于管理扫描线程和数据处理线程,使用阻塞队列,存放扫描线程扫描的目标文件,所述数据处理线程从所述阻塞队列读取目标文件内容,执行上传数据库操作。
2.如权利要求1所述的网关数据上传数据库连接数控制方法,其特征在于,网关上传文件的文件名称包括网关的S/N码以及时间戳信息,网关上传文件的后缀名为.tar.gz,所述时间戳信息包括分钟信息。
3.如权利要求1所述的网关数据上传数据库连接数控制方法,其特征在于,获取网关上传的文件,以及文件的时间戳,之后,还包括:
判断所述时间戳是否大于系统时间,或者是否比系统时间小预设天数,如果时间戳大于系统时间,或者比系统时间小预设天数,则丢弃所述网关上传的文件,所述预设天数为35天。
4.如权利要求2所述的网关数据上传数据库连接数控制方法,其特征在于,对所述文件进行解压缩,将所述目标文件根据所述时间戳保存至对应的文件夹中,包括:
将所述目标文件以分钟信息进行分类保存,每个文件夹保存的目标文件的分钟数相同,即共有60个文件夹保存各个目标文件;
所述目标文件的文件名仍以网关的S/N码以及时间戳信息进行命名,目标文件的后缀名为.json。
5.如权利要求4所述的网关数据上传数据库连接数控制方法,其特征在于,线程数为N+1个,其中一个线程为扫描线程,其余线程均为数据处理线程,N为CPU的核数。
6.如权利要求4所述的网关数据上传数据库连接数控制方法,其特征在于,使用阻塞队列,存放扫描线程扫描的目标文件,所述数据处理线程从所述阻塞队列读取目标文件内容,执行上传数据库操作,包括:
扫描线程扫描文件夹中后缀名为.json的目标文件,对上述目标文件数据进行解析,把目标文件对象和数据组装在阻塞队列的对象放入队列中,所述扫描线程并将组装后的目标文件的后缀名改为.json.bak;
数据处理线程从所述阻塞队列获取目标文件后,解析目标文件的数据、网关S/N码,执行上传数据库处理,如果上传数据库成功,则将所述目标文件标记为入库成功,对于与标记入库成功的目标文件相同的文件名称的文件,则不再执行上传数据库操作;如果上传数据库失败,则将目标文件的后缀名由.json.bak改为.json。
7.如权利要求6所述的网关数据上传数据库连接数控制方法,其特征在于,在上传数据库执行过程中:
如果阻塞队列为空,则数据处理线程挂起变成等待状态;
如果阻塞队列已满,则扫描线程挂起变成等待状态。
8.一种网关数据上传数据库连接数控制装置,其特征在于,包括:
获取模块,用于获取网关上传的文件,以及文件的时间戳;
保存模块,用于对所述文件进行解压缩,将目标文件根据所述时间戳保存至对应的文件夹中,所述目标文件为解压缩后的文件;
上传模块,用于生成一个缓存线程池,所述缓存线程池用于管理扫描线程和数据处理线程,使用阻塞队列,存放扫描线程扫描的目标文件,所述数据处理线程从所述阻塞队列读取目标文件内容,执行上传数据库操作。
9.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的网关数据上传数据库连接数控制方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一所述的网关数据上传数据库连接数控制方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于珠海派诺科技股份有限公司,未经珠海派诺科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811158571.2/1.html,转载请声明来源钻瓜专利网。