[发明专利]数据处理方法、装置和系统、电子设备以及计算机可读存储介质

说明书

本发明实施例提供了一种数据处理方法、装置和系统、电子设备以及计算机可读存储介质。该方法包括：获取用户的数据查询指令，其中，所述数据查询指令中至少包括待查询字段和针对所述待查询字段的查询条件；获取与所述待查询字段相对应的索引数据的索引比例；根据所述索引比例，生成符合所述查询条件的数据查询方案。本发明实施例通过引入索引比例来部分地为数据构建索引，从而根据索引数据占源数据的索引比例，来生成符合查询条件的数据查询方案，能够根据用户意图基于索引数据和源数据分别执行数据查询操作，从而实现部分计算加速，以满足用户对计算成本与查询性能之间平衡的需求。

技术领域

本发明涉及云计算技术领域，尤其涉及一种数据处理方法、装置和系统、电子设备以及计算机可读存储介质。

背景技术

随着云技术的发展，已经出现了存储和计算完全分离的云服务网络架构，从而能够利用高速、大吞吐的网络通道来充分发挥硬件集中的优势。在这样的云服务中，如何高效且便捷地对云数据库中大量数据进行存储和使用就变得非常重要。

现有技术中为了方便各种数据的存储和使用，使用了对象存储服务(ObjectStorage Service；以下简称：OSS)技术，其由于具有读写接口简单友好、价格低廉及支持各种异构数据存储等优势，而在存储计算分离的云服务网络架构中得到了广泛的应用，并且也成为了云服务架构中最重要的数据来源。

由于OSS技术本身的数据格式异构，即存在着各种各样的文件格式以及各种各样的存储系统，使得云服务用户在对数据进行处理(例如，分析)时，无法很好地控制查询性能与计算成本的关系。例如，用户所需要获取的数据的格式特殊或者用户所要获取的数据针对的场景对于数据的要求比较复杂等等，都会导致用户的计算成本上升，或者导致用户的数据获取性能下降。

但是目前的数据存储方案无法为用户提供方便且直观的数据处理执行方案。

发明内容

本发明实施例提供一种数据处理方法、装置和系统、电子设备以及计算机可读存储介质，以解决现有技术中无法很好地控制查询性能与计算成本之间关系的缺陷。

为达到上述目的，本发明实施例提供了一种数据处理方法，包括：

获取用户的数据查询指令，其中，所述数据查询指令中至少包括待查询字段和针对所述待查询字段的查询条件；

获取与所述待查询字段相对应的索引数据的索引比例，其中，所述索引比例为所述索引数据占源数据的比例；

根据所述索引比例，生成符合所述查询条件的数据查询方案，其中，所述数据查询方案用于指示基于所述索引数据执行数据查询操作以及基于所述源数据执行数据查询操作。

本发明实施例还提供了一种数据处理装置，包括：

指令获取模块，用于获取用户的数据查询指令，其中，所述数据查询指令中至少包括待查询字段和针对所述待查询字段的查询条件；

索引比例获取模块，用于获取与所述待查询字段相对应的索引数据的索引比例，其中，所述索引比例为所述索引数据占源数据的比例；

方案生成模块，用于根据所述索引比例，生成符合所述查询条件的数据查询方案，其中，所述数据查询方案用于指示基于所述索引数据执行数据查询操作以及基于所述源数据执行数据查询操作。

本发明实施例还提供了一种数据处理系统，包括：前置节点、计算节点和存储节点，其中，

所述前置节点用于，获取用户的数据查询指令，其中，所述数据查询指令中至少包括待查询字段和针对所述待查询字段的查询条件；获取与所述待查询字段相对应的索引数据的索引比例，其中，所述索引比例为所述索引数据占源数据的比例；以及，根据所述索引比例，生成符合所述查询条件的数据查询方案，其中，所述数据查询方案用于指示基于所述索引数据执行数据查询操作以及基于所述源数据执行数据查询操作；