[发明专利]HQL脚本校验方法及装置

说明书

本申请实施例提供一种HQL脚本校验方法及装置，可用于大数据技术领域，方法包括：拆分HQL脚本以得到所述HQL脚本对应的各个目标语句，并对各个所述目标语句分别进行语法校验；以及，基于预设的性能隐患语法规则对所述HQL脚本进行性能隐患排查处理。本申请能够有效提高HQL脚本校验的准确性及有效性，并能够有效提高HQL脚本校验的效率、自动化程度及智能化程度，进而能够提高HQL脚本的应用可靠性并降低人力成本。

技术领域

本申请涉及数据处理技术领域，特别涉及大数据技术领域，具体涉及HQL脚本校验方法及装置。

背景技术

企业的大数据服务云平台为各类专业大数据分析应用提供数据接入、存储、计算、安全管理、资源管理等服务，随着平台构建的不断完善，其技术体系日益庞大，承载的业务功能日益丰富，在平台运维体系不断扩大的同时，各大企业将大数据视作战略资源，Hadoop生态系统的应用范围愈发广泛，越来越多的分析人员基于Hive组件的HQL语句进行相关专业领域的灵活查询、分析建模，不仅HQL语句语法的正确性成为相关分析人员需要重点关注的技术问题，各个应用场景的具体模型和逻辑在新技术架构下的性能表现逐渐成为产品研发流程关注的焦点之一。

目前，对HQL脚本进行校验的具体方式为：各开发人员需要通过HQL脚本对数据湖或数据仓库中的基础数据或主题数据进行业务逻辑加工等关联操作，由于编写HQL脚本的开发人员编码风格各异，同时对于HQL语法的掌握水平参差不齐，在各项目开发过程中会掺杂各种低效写法导致作业运行效率缓慢，同时消耗大数据分布式集群资源巨大，且无法保证校验的准确性。

发明内容

针对现有技术中的问题，本申请提供一种HQL脚本校验方法及装置，能够有效提高HQL脚本校验的准确性及有效性，并能够有效提高HQL脚本校验的效率、自动化程度及智能化程度，进而能够提高HQL脚本的应用可靠性并降低人力成本。

为解决上述技术问题，本申请提供以下技术方案：

第一方面，本申请提供一种HQL脚本校验方法，包括：

拆分HQL脚本以得到所述HQL脚本对应的各个目标语句，并对各个所述目标语句分别进行语法校验；

以及，基于预设的性能隐患语法规则对所述HQL脚本进行性能隐患排查处理。

进一步地，所述对各个所述目标语句分别进行语法校验，包括：

基于预设的语句加工规则将各个所述目标语句分别转化为执行计划语句；

根据各个所述目标语句各自对应在分布式集群中的执行路径，在该分布式集群中对各个所述执行计划语句分别进行语法校验，以得到所述HQL脚本对应的语法校验结果。

进一步地，所述在该分布式集群中对各个所述执行计划语句分别进行语法校验，以得到所述HQL脚本对应的语法校验结果，包括：

基于各个所述目标语句各自对应的用户登陆信息登陆所述分布式集群；

将各个所述执行计划语句提交至所述分布式集群进行语法校验，以得到该分布式集群生成的所述HQL脚本对应的语法校验结果。

进一步地，所述性能隐患语法规则包括：全表扫描和全表插入规则；

所述基于预设的性能隐患语法规则对所述HQL脚本进行性能隐患排查处理，包括：

基于所述全表扫描和全表插入规则对属于分区表且未做分区字段筛选的HQL脚本进行全表扫描，以得到对应的全表扫描结果；

生成包含有所述全表扫描结果的性能隐患排查结果。

进一步地，所述性能隐患语法规则包括：笛卡尔积查询规则；

所述基于预设的性能隐患语法规则对所述HQL脚本进行性能隐患排查处理，包括：