[发明专利]一种数据源融合计算方法、组件及装置有效
申请号: | 201911188323.7 | 申请日: | 2019-11-28 |
公开(公告)号: | CN110647518B | 公开(公告)日: | 2020-04-28 |
发明(设计)人: | 侯良伟;陶亮;王纯斌;赵神州 | 申请(专利权)人: | 成都四方伟业软件股份有限公司 |
主分类号: | G06F16/21 | 分类号: | G06F16/21;G06F16/22;G06F16/28 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 610041 四川省*** | 国省代码: | 四川;51 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据源 融合 计算方法 组件 装置 | ||
1.一种数据源融合计算方法,包括源数据库、目标数据库和解析器,其特征在于:基于用于接收、管理、调度用户作业的服务DTC-SERVER和流式的数据流执行引擎DTC-FUSION,还包括以下步骤:
S1、解析器接收用户发送的SQL语句;
S2、解析器对接收到的SQL语句进行解析得到作业,所述作业的内容包括数据地址和操作命令;
S3、解析器将步骤S2得到的作业发布到DTC-SERVER服务;
S4、DTC-SERVER服务管理并调度作业,提交作业到DTC-FUSION执行;
S5、DTC-FUSION执行接收到的作业,并将计算结果输出到目标数据库;
DTC-FUSION与源数据库和目标数据库连接,步骤S5中DTC-FUSION执行接收到的作业时,根据作业内容中的数据地址读取源数据库中的数据,根据作业内容中的操作命令对读取到的数据进行处理。
2.根据权利要求1所述的一种数据源融合计算方法,其特征在于:所述步骤S2中解析器对接收到的SQL语句进行解析前,解析器创建与源数据库的连接,读取源数据库中的元数据。
3.根据权利要求1所述的一种数据源融合计算方法,其特征在于:所述步骤S2中的作业为JSON模版格式。
4.根据权利要求1所述的一种数据源融合计算方法,其特征在于:所述源数据库和目标数据库包括关系型数据库、非关系型数据库中的至少一种。
5.根据权利要求4所述的一种数据源融合计算方法,其特征在于:所述源数据库和目标数据库采用MySQL、Hive、Mongo、Elasticsearch、SQLServer、oracle数据库中的至少一种。
6.一种数据源融合计算装置,其特征在于:包括存储器和处理器,所述处理器用于加载一种数据源融合计算组件;
所述组件包括根据IDE规范封装的解析器、DTC-SERVER、DTC-FUSION、元数据接口、SQL接口和数据库接口;
解析器:执行如权利要求1所述的步骤S1、S2、S3;
DTC-SERVER:执行如权利要求1所述的步骤S4;
DTC-FUSION:执行如权利要求1所述的步骤S5。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于成都四方伟业软件股份有限公司,未经成都四方伟业软件股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911188323.7/1.html,转载请声明来源钻瓜专利网。