[发明专利]一种基于SQL的海量大数据计算开发的调试方法有效
| 申请号: | 202110750626.4 | 申请日: | 2021-07-02 |
| 公开(公告)号: | CN113641572B | 公开(公告)日: | 2023-06-13 |
| 发明(设计)人: | 徐长明 | 申请(专利权)人: | 多点生活(成都)科技有限公司 |
| 主分类号: | G06F11/36 | 分类号: | G06F11/36;G06F8/30 |
| 代理公司: | 成都三诚知识产权代理事务所(普通合伙) 51251 | 代理人: | 饶振浪 |
| 地址: | 610000 四川省成都市高*** | 国省代码: | 四川;51 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 基于 sql 海量 数据 计算 开发 调试 方法 | ||
1.一种基于SQL的海量大数据计算开发的调试方法,其特征在于:包括以下步骤:
S1:获取计算指标数据的原始SQL语句和调试信息;其中,调试信息包括需要调试和不需要调试;
S2:根据调试信息判断获取的原始SQL语句是否需要调试;是,将获取的原始SQL语句进行改造,生成调试SQL,执行步骤S3;否,执行步骤S3;
S3:将原始SQL语句或经步骤S2改造生成的调试SQL提交给集群的SQL计算引擎进行SQL指标计算;其中,原始SQL语句计算后得到SQL计算指标数据,调试SQL计算后得到调试SQL计算指标数据;
S4:输出计算结果;其中,SQL计算指标数据写入正式落地库,调试SQL计算指标数据则写入调试落地库;
S5:将正式落地库内的数据和调试落地库内的数据分别提供给不同的使用人员;
其中,将获取的原始SQL语句进行改造包括以下步骤:
步骤1:将原始SQL语句进行解析,得到指标计算的输入源库表、输出源库表以及目标字段列表;同时,通过输入源库表的库表名和输出源库表的库表名,从元信息数据仓库中获取并完善输入源库表和输出源库表的元信息结构及数据来源服务地址信息;
步骤2:判定是否能够从输出源中获取到输出源库表的字段信息和类型列表;是,执行步骤4;否,执行步骤3;
步骤3:判定输入源的指标SQL中的目标字段列表中是否有聚合计算字段;是,提取聚合计算字段作为字段信息,并从输入源库表的服务地址信息中获取类型列表,执行步骤4;否,直接从输入源库表的服务地址信息中获取字段信息和类型列表,执行步骤4;
步骤4:根据字段信息和类型列表,构建调试输出源库表的元信息结构及存储形式;
步骤5:将调试输出源库表替换原始SQL语句的输出源库表,完成改造,得到调试SQL。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于多点生活(成都)科技有限公司,未经多点生活(成都)科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110750626.4/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置





