[发明专利]基于web的对象存储查询方法及装置

说明书

本发明提供了一种基于web的对象存储查询方法及装置，涉及计算机技术领域，包括接收web客户端发送的针对目标对象存储查询请求；基于预先确定的目标对象存储的Hive元数据，确定SQL语句对应的待查询对象对应的存储地址以及待查询的表字段；基于待查询对象对应的存储地址以及待查询的表字段，从目标对象存储中获取目标内容，并对目标内容进行聚合操作，得到查询结果；将查询结果发送至web客户端。以此可以实现快速，高效的对对象存储进行查询，并且用户可以得到更清晰的查询结果，提升了查询效率。

技术领域

本发明涉及计算机技术领域，尤其是涉及一种基于web的对象存储查询方法及装置。

背景技术

随着云计算的快速发展，对象存储作为一个价格低廉、稳定、高效的存储存统被广泛应用，有格式化文件，比如网民的访问行为日志，还有非格式化文件，如视频文件等。当格式化存在对象存储后如何快捷使用是大家面临的一个问题，如何做到低成本且高效的使用是一个较大的挑战。

当前分析数据存储数据的方案如下：通过调用对象存储接口，使用curl、wget或sdk编写程序将对象下载到本地，然后使用shell、Python等开发语言编程实现。或者，搭建hadoop集群，使用hadoop访问对象存储数据，通过编写MapReduce、Spark程序进行统计分析，也可以通过hive访问对象存储数据。

但是，对于上述方案，对资源需求量大、成本高，每次需要将数据从对象存储拉取到本地，对本地磁盘的存储空间需求量比较大，同时也会带来带宽成本；耗时长，从对象拉取数据耗时长，由于是单机计算效率低。不易上手，需要有一定的开发能力，需要了解对象存储接口和脚本编程。

发明内容

本发明的目的在于提供一种基于web的对象存储查询方法及装置，以缓解了现有技术中存在的查询效率低的技术问题。

第一方面，本发明实施例提供一种基于web的对象存储查询方法，包括：

接收web客户端发送的针对目标对象存储查询请求，所述查询请求包括结构化查询语言(Structured Query Language，SQL)语句；

基于预先确定的所述目标对象存储的Hive元数据，确定所述SQL语句对应的待查询对象对应的存储地址以及待查询的表字段；

基于所述待查询对象对应的存储地址以及待查询的表字段，从所述目标对象存储中获取目标内容，并对所述目标内容进行聚合操作，得到查询结果；

将所述查询结果发送至所述web客户端。

在可选的实施方式中，基于预先确定的所述目标对象存储的Hive元数据，确定所述SQL语句对应的待查询对象对应的存储地址以及待查询的表字段的步骤，包括：

基于预先确定的配置数据库中的预设要求，对所述SQL语句的格式进行变更；

基于预先确定的所述目标对象存储的Hive元数据以及变更后的所述SQL语句，确定所述SQL语句对应的待查询对象对应的存储地址以及待查询的表字段。

在可选的实施方式中，在接收web客户端发送的针对目标对象存储查询请求的步骤之后，所述方法还包括：

向权限管理系统申请所述目标对象存储的访问许可；

在接收到所述权限管理系统发送的许可指示后，执行基于预先确定的所述目标对象存储的Hive元数据以及变更后的所述SQL语句，确定所述SQL语句对应的待查询对象对应的存储地址以及待查询的表字段的步骤。

在可选的实施方式中，在向权限管理系统申请所述目标对象存储的访问许可的步骤之前，所述方法还包括：

向权限管理系统请求判断所述web客户端是否具有操作所述目标对象存储的权限；