[发明专利]一种数据的导出方法及设备在审
申请号: | 201810457007.4 | 申请日: | 2018-05-14 |
公开(公告)号: | CN108664628A | 公开(公告)日: | 2018-10-16 |
发明(设计)人: | 罗先贤;叶俊锋;赖云辉;孙成;龙觉刚 | 申请(专利权)人: | 平安科技(深圳)有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 深圳中一专利商标事务所 44237 | 代理人: | 陈宇 |
地址: | 518000 广东省深*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 导出 导出线 匹配 目标数据 用户标识 数据量 响应 信息处理技术 参数匹配 导出目标 导出数据 关联用户 检测设备 接收数据 统计目标 响应信息 用户发起 预设 数据库 堵塞 输出 占用 概率 重复 创建 | ||
1.一种数据的导出方法,其特征在于,包括:
接收数据导出请求;所述数据导出请求包括用户标识以及目标数据参数;
将所述数据导出请求的用户标识与当前占用导出线程的用户标识进行匹配;
若任一所述占用导出线程的用户标识与所述数据导出请求的用户标识匹配,则输出已响应信息给发起数据导出请求的用户;
若各个所述占用导出线程的用户标识与所述数据导出请求的用户标识均不匹配,则从数据库中提取与所述目标数据参数匹配的目标数据,并统计所述目标数据的数据量;
若所述数据量小于或等于预设的导出数据阈值,则创建所述数据导出请求对应的数据导出线程,并关联所述用户标识以及所述数据导出线程;通过所述数据导出线程导出目标数据。
2.根据权利要求1所述的导出方法,其特征在于,在所述提取与所述目标数据参数匹配的目标数据,并统计所述目标数据的数据量之后,还包括:
若所述数据量大于所述导出数据阈值,则基于所述导出数据阈值,将所述目标数据划分为N个数据组;所述N具体为:
其中,TagetDateZise为目标数据的数据量;MaxDataZise为所述导出数据阈值;int(x)为取整函数;
创建N个并发导出线程,并关联所述用户标识以及N个所述并发导出线程;
通过所述并发导出线程分别导出各个所述数据组对应的目标数据。
3.根据权利要求1所述的导出方法,其特征在于,所述目标数据参数包括目标关键词;所述从数据库中提取与所述目标数据参数匹配的目标数据,包括:
基于语义分析算法,从所述数据库存储的数据中获取多个候选关键词,构成语料库;
计算所述目标关键词与所述语料库中各个所述候选关键词之间的匹配度,并选取匹配度大于预设匹配阈值的候选关键词作为所述目标关键词的关联关键词;
从所述数据库中选取包含目标关键词和/或所述关联关键词的数据作为所述目标数据。
4.根据权利要求1-3任一项所述的导出方法,其特征在于,还包括:
若接收到数据导入请求,则输出数据校验参数设置页面,以获取所述用户输入的数据校验参数;
基于所述数据校验参数对待导入数据进行校验;
若存在与数据校验参数不匹配的待导入数据,则标记不匹配的所述待导入数据,并返回数据异常信息。
5.根据权利要求1-3任一项所述的导出方法,其特征在于,在所述输出已响应信息给发起数据导出请求的用户之后,还包括:
检测是否存在所述用户标识对应的重发计数器;
若不存在所述用户标识对应的重发计数器,则创建与该用户标识关联的重发计数器,并设置该重发计时器的初始值;
若存在所述用户标识对应的重发计数器,则增加所述重发计数器的计数值;
若所述计数值大于预设的计数阈值,则屏蔽所述用户发送的数据导出请求。
6.一种数据的导出设备,其特征在于,所述数据的导出设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如下步骤:
接收数据导出请求;所述数据导出请求包括用户标识以及目标数据参数;
将所述数据导出请求的用户标识与当前占用导出线程的用户标识进行匹配;
若任一所述占用导出线程的用户标识与所述数据导出请求的用户标识匹配,则输出已响应信息给发起数据导出请求的用户;
若各个所述占用导出线程的用户标识与所述数据导出请求的用户标识均不匹配,则从数据库中提取与所述目标数据参数匹配的目标数据,并统计所述目标数据的数据量;
若所述数据量小于或等于预设的导出数据阈值,则创建所述数据导出请求对应的数据导出线程,并关联所述用户标识以及所述数据导出线程;通过所述数据导出线程导出目标数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810457007.4/1.html,转载请声明来源钻瓜专利网。