[发明专利]数据采集方法、数据采集系统和非易失性计算机存储介质在审
| 申请号: | 201811532755.0 | 申请日: | 2018-12-14 |
| 公开(公告)号: | CN109697215A | 公开(公告)日: | 2019-04-30 |
| 发明(设计)人: | 石军 | 申请(专利权)人: | 安徽同徽网络技术有限公司 |
| 主分类号: | G06F16/25 | 分类号: | G06F16/25;G06F9/54 |
| 代理公司: | 北京清亦华知识产权代理事务所(普通合伙) 11201 | 代理人: | 张润 |
| 地址: | 230088 安徽省合肥市高新*** | 国省代码: | 安徽;34 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 第三方数据库 数据采集系统 连接方式 数据采集 适配 网关 应用程序编程接口 数据库 计算机可读存储介质 目标数据 获取源 预设 计算机存储介质 非易失性 数据共享 源数据 转换源 保存 转换 | ||
1.一种用于采集第三方数据库的数据的数据采集方法,其特征在于,所述数据采集方法包括:
从多种预设连接方式中选取与所述第三方数据库的应用程序编程接口网关适配的连接方式;
通过所述适配的连接方式从所述第三方数据库获取源数据;及
转换所述源数据为目标数据并保存在数据库中。
2.根据权利要求1所述的数据采集方法,其特征在于,多种所述预设连接方式包括数据库连接、超文本传输协议连接、及长连接套接字协议连接中至少两种。
3.根据权利要求1所述的数据采集方法,其特征在于,所述数据采集方法还包括:
根据扩特兹公式框架设定定时触发时间;
所述通过所述适配的连接方式从所述第三方数据库获取源数据,包括:
在所述定时触发时间后通过所述适配的连接方式从所述第三方数据库获取源数据。
4.根据权利要求1所述的数据采集方法,其特征在于,所述数据采集方法还包括:
设置自定义调用方法;
所述通过所述适配的连接方式从所述第三方数据库获取源数据,包括:
在所述自定义调用方法被调用时通过所述适配的连接方式从所述第三方数据库获取源数据。
5.根据权利要求1所述的数据采集方法,其特征在于,所述转换所述源数据为目标数据并保存在数据库中,包括:
根据所述源数据的数据格式使用对应的转换框架将所述源数据转换为集合对象;
遍历所述集合对象并根据预设规则对所述集合对象进行转换以生成所述目标数据;及
保存所述目标数据到所述数据库。
6.根据权利要求5所述的数据采集方法,其特征在于,所述源数据对应的集合对象包括源字段,所述目标数据包括目标字段,所述转换所述源数据为目标数据并保存在数据库中,还包括:
在所述源字段与所述目标字段不匹配时,过滤所述集合对象中与所述源字段对应的数据;
所述遍历所述集合对象并根据预设规则对所述集合对象进行转换以生成所述目标数据,包括:
遍历过滤后的所述集合对象并根据预设规则对所述过滤后的集合对象进行转换以生成所述目标数据。
7.一种数据采集系统,其特征在于,所述数据采集系统包括数据库和处理器,所述处理器用于从多种预设连接方式中选取与所述第三方数据库的应用程序编程接口网关适配的连接方式、通过所述适配的连接方式从所述第三方数据库获取源数据、及转换所述源数据为目标数据并保存在所述数据库中。
8.根据权利要求7所述的数据采集系统,其特征在于,多种所述预设连接方式包括数据库连接、超文本传输协议连接、及长连接套接字协议连接中至少两种。
9.根据权利要求7所述的数据采集系统,其特征在于,所述处理器还用于根据扩特兹公式框架设定定时触发时间、及在所述定时触发时间后通过所述适配的连接方式从所述第三方数据库获取所述源数据。
10.根据权利要求7所述的数据采集系统,其特征在于,所述处理器还用于设置自定义调用方法、及在所述自定义调用方法被调用时通过所述适配的连接方式从所述第三方数据库获取所述源数据。
11.根据权利要求7所述的数据采集系统,其特征在于,所述处理器还用于根据所述源数据的数据格式使用对应的转换框架将所述源数据转换为集合对象、遍历所述集合对象并根据预设规则对所述集合对象进行转换以生成所述目标数据、及保存所述目标数据到所述数据库。
12.根据权利要求11所述的数据采集系统,其特征在于,所述处理器还用于在所述源字段与所述目标字段不匹配时,过滤所述集合对象中与所述源字段对应的数据、及遍历过滤后的所述集合对象并根据预设规则对所述过滤后的集合对象进行转换以生成所述目标数据。
13.一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行如权利要求1至6中任一项所述的数据采集方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于安徽同徽网络技术有限公司,未经安徽同徽网络技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811532755.0/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种旅游数据分析系统及方法
- 下一篇:清算交易信息处理方法、装置及系统





