[发明专利]一种大数据查询方法、系统及计算机可读存储介质

说明书

本发明提供了一种大数据查询方法、系统及计算机可读存储介质，所述方法包括：接收用户权限申请并分配权限给所述用户；接收所述用户选择的查询服务和输入的SQL查询语句；解析所述SQL查询语句并分发任务到计算引擎；输出所述计算引擎执行任务返回的查询结果、日志、资源使用率以及任务信息。本发明提供的大数据查询系统通过统一化的SQL查询，允许用户选择查询服务从而集成了多种查询场景，对资源使用率进行最细粒度的展示和管控，检测敏感数据以及系统风险，保证了数据的安全性与稳定性，用户还可定制功能，可灵活对接其他系统以适配各种用户需求。

技术领域

本发明涉及大数据技术领域，尤其涉及一种大数据查询方法、系统及计算机可读存储介质。

背景技术

随着技术的发展与社会的进步，大数据的应用领域越来越多，针对大数据的查询平台也日益重要。目前大部分大数据查询系统以开源的Hue或Zeppelin为主，或者是直接使用Linux终端配置不同的Client直接进行查询。现有的大数据查询方法或系统需要适配于特定的数据库或引擎，资源使用情况不够详细，报错信息通常是标准化处理不能适配各种用户需求，用户权限管理不够灵活，导致无法灵活高效适配各类工作需求。因此需要一种更为灵活可适配各种用户需求的大数据查询方法和系统。

发明内容

本发明的目的在于提供一种大数据查询方法系统、系统及计算机可读存储介质，旨在解决现有技术中查询系统需适配特定的数据库及引擎，无法适配各种用户需求的问题。

第一方面，本发明提供了一种大数据查询方法，所述方法包括：

接收用户权限申请并分配权限给所述用户；

接收所述用户选择的查询服务和输入的SQL查询语句；

解析所述SQL查询语句并分发任务到计算引擎；

输出所述计算引擎执行任务返回的查询结果、日志、资源使用率以及任务信息。

第二方面，本发明提供了一种大数据查询系统，所述系统包括：

权限管理模块，用于接收用户权限申请并分配权限给用户；

输入模块，用于接收用户选择的查询服务和用户输入的SQL查询语句；

SQL解析模块，用于解析SQL语句并分发任务到计算引擎；

输出模块，用于输出所述计算引擎执行任务返回的日志、查询结果、资源使用率和任务信息；和

功能设置模块，用于接受用户输入以设置功能。

第三方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上所述的大数据查询方法的步骤。

在本发明中，通过给客户分配不同权限，允许用户选择查询服务及输入统一化的SQL查询语句，集成了多种查询场景，支持海量数据下各种分布式数据存储引擎和常规数据库的查询，对资源使用率按照最细粒度进行展示和管控，给用户做优化提供参考，在SQL查询语句涉及系统风险时进行拦截，在查询结果被下载时进行敏感数据检测，从而保证了数据的安全性与服务的稳定性，此外还支持用户对日志报错统一处理、自定义系统通知、多选项卡查询、派发随机红包、对每个人设置上传下载量级等功能进行定制，从而可灵活对接其他系统的权限体系、告警、通知、红包服务等，以适配各种用户需求。

附图说明

图1是本发明实施例一提供的一种大数据查询方法的流程图。

图2是本发明实施例二提供的一种大数据查询系统的模块框图。

具体实施方式