[发明专利]一种基于SQL的海量大数据计算开发的调试方法

说明书

本发明公开了一种基于SQL的海量大数据计算开发的调试方法，其包括获取计算指标数据的原始SQL语句和调试信息；其中，调试信息包括需要调试和不需要调试；根据调试信息判断获取的原始SQL语句是否需要调试；是，将获取的原始SQL语句进行改造，生成调试SQL等步骤。本发明支持正式SQL语句与调试SQL同时进行指标计算得出指标数据，两种方式的数据因写入不同落地库，达到指标数据相互不干扰，从而保证调试的优雅，使SQL开发人员的SQL编写更方便、快捷，成本投入少，SQL计算指标更容易平稳过渡升级，避免数据使用方在升级过程中产生脏数据干扰，有效降低硬件成本。

技术领域

本发明涉及大数据处理技术领域，具体是指一种基于SQL的海量大数据计算开发的调试方法。

背景技术

在大数据的离线指标计算及越来越成熟的流批一体化指标计算过程中，常使用hive sql、spark sql、flink sql等一些支持SQL语句标准的数据计算引擎来支持指标计算存储，且提供指标数据集合用来对各个数据的展示系统进行支持查询，为企业提供更多、更精确的数据决策依据及业务赋能。大数据集群中的SQL计算特点是从输入源获取数据，再经过指标定义SQL计算后产生指标数据存入输出源，然后从输出源获取数据用于报表、图表展示并提供数据分析。然而，目前在SQL编写开发过程中，不同的数据环境产生的来源数据不同，开发使用人员在开发计算指标时，出于安全及数据隔离性等原因，不能直接在生产环境中进行SQL语句开发；如果在开发环境中不能及时发现SQL语句错误，那么只有在生产环境的执行失败或者日志告警后才会发现SQL语句的错误，甚至出现无法发现SQL语句错误而将不合理的错误数据展示出来的现象，这给分析使用人员带来错误的数据策略导向，导致经济损失。如果想更好的确保SQL计算的正确性，则需要增加环境成本，并投入更多的开发时长及开发人员。

发明内容

本发明的目的在于解决上述问题，提供一种基于SQL的海量大数据计算开发的调试方法，以实现根据生产环境中真实的来源数据，来检验SQL语句的合法性和指标数据的正确性，并且保护正式库数据不被污染，从根本上提高开发效率，减少人员投入成本。

本发明的目的通过下述技术方案实现：一种基于SQL的海量大数据计算开发的调试方法，包括以下步骤：

S1：获取计算指标数据的原始SQL语句和调试信息；其中，调试信息包括需要调试和不需要调试；

S2：根据调试信息判断获取的原始SQL语句是否需要调试；是，将获取的原始SQL语句进行改造，生成调试SQL，执行步骤S3；否，执行步骤S3；

S3：将原始SQL语句或经步骤S2改造生成的调试SQL提交给集群的SQL计算引擎进行SQL指标计算；其中，原始SQL语句计算后得到SQL计算指标数据，调试SQL计算后得到调试SQL计算指标数据；

S4：输出计算结果；其中，SQL计算指标数据写入正式落地库，调试SQL计算指标数据则写入调试落地库；

S5：将正式落地库内的数据和调试落地库内的数据分别提供给不同的使用人员。

其中，将获取的原始SQL语句进行改造包括以下步骤：

步骤1：将原始SQL语句进行解析，得到指标计算的输入源库表、输出源库表以及目标字段列表；同时，通过输入源库表的库表名和输出源库表的库表名，从元信息数据仓库中获取并完善输入源库表和输出源库表的元信息结构及数据来源服务地址信息；

步骤2：判定是否能够从输出源中获取到输出源库表的字段信息和类型列表；是，执行步骤4；否，执行步骤3；

步骤3：判定输入源的指标SQL中的目标字段列表中是否有聚合计算字段；是，提取聚合计算字段作为字段信息，并从输入源库表的服务地址信息中获取类型列表，执行步骤4；否，直接从输入源库表的服务地址信息中获取字段信息和类型列表，执行步骤4；