[发明专利]用于优化数据存储上的查询执行的方法

说明书

本发明的实施例涉及大数据。具体而言，本发明涉及一种优化数据存储上的查询执行的方法和服务器。通过将要求来自所述数据存储的同一部分数据的一个或多个查询分成一个或多个组优化本发明中的查询执行。将所述一个或多个查询分成所述一个或多个组从一个或多个元数据中实现，所述一个或多个元数据包含在用户指定的一个或多个查询中，所述用户希望基于所述一个或多个元数据检索结果。执行划分在所述一个或多个分组下的所述一个或多个查询仅涉及所述数据存储的一次扫描。通过这种方式，以最小延迟返回每个查询所需的来自所述数据存储的结果。

技术领域

本发明涉及计算机领域中的数据库技术。具体而言，本发明涉及一种用于优化数据存储尤其是大数据存储上的查询执行的方法。

背景技术

通常，大数据包括保存在大数据存储(称为数据存储)中的大型复杂数据的集合。大型复杂数据以数据块的形式存储，通常会对这些数据块进行索引、分类和压缩。数据存储提供高效的工具用于浏览数据存储中的数据以响应用户指定的一个或多个查询。高效工具的一个示例是联机分析处理(OLAP)工具，其处理用户请求的基于OLAP的查询。该工具有助于访问数据存储中的数据，通常涉及从数据块中读取并解压数据，通常称为在数据存储上进行扫描。通常，在数据存储上进行扫描要求大量的磁盘操作、网络输入/输出(I/O)操作和中央处理器(CPU)操作。此外，数据存储的一个众所周知的问题在于它们往往极其庞大，导致了严重的存储和性能问题。因此，数据存储的可扩展架构在大数据环境中至关重要。因此，以数据存储上最少的扫描操作和最短的交互响应时间处理伴随着处理用户指定的一个或多个查询而产生的大量数据非常困难。

通常，数据存储上的扫描操作以两种不同的方式执行来提供响应于用户执行的一个或多个查询的结果。第一种方式是完全扫描，第二种方式是基于筛选的扫描。图1示出了描述现有技术的执行完全扫描的方法的示例性方框图。该示例性方框图包括搜索引擎，其接收来自用户的一个或多个查询并在数据存储上执行接收到的一个或多个查询。完全扫描包括访问所有数据块(数据块1、数据块2......数据块n)并为一个或多个查询(查询1、查询2......查询n)中的每个查询从数据块中读取记录，这耗费了大量的时间去检索与一个或多个用户的查询有关的准确结果。

图2示出了描述执行基于筛选的扫描的方法的另一示例性方框图。一个或多个查询包括用户指定的一个或多个筛选值或维度或索引值。例如，指定查询1为：

Select{[Student]}ON COLUMNS

where([years].Student in{2003})

查询1的筛选值是“2003”，即查询1请求提取2003年以来的学生记录。类似地，如图2所示，查询2具有筛选值“2003,2006”，即提取从2003年、2004年......到2006年的学生。查询3的筛选值为空值，并且查询n的筛选值为90，即提取分数为90的学生。基于筛选的扫描涉及基于用户在一个或多个查询中指定的一个或多个筛选值或维度或索引值扫描数据存储。也就是说，分别基于筛选值“2003”、“2003,2006”等扫描数据存储以分别处理查询1、查询2等。确切地说，仅基于筛选值扫描数据存储的所需块。因此，满足一个或多个查询的筛选值的记录从数据存储中提取出来。