[发明专利]一种数据查询操作的实现方法、装置及系统

说明书

技术领域

本发明涉及数据查询技术领域，尤其涉及一种数据查询操作的实现方法、装置及系统。

背景技术

目前，在数据存储系统中导入诸如关系型数据库、分布式数据库、以及其他提供数据查询接口的外部数据系统中的数据表或对数据表的查询结果的方法为：

将外部数据系统中待查询的数据按照某种分配规则，分配给数据存储系统中的多个数据交换节点；每个数据交换节点并行地对外部数据系统的数据表中的数据执行查询请求，得到各自的查询结果；将每个数据交换节点的查询结果合并后，得到完整的查询结果。

其中，按照分配规则具体可以分为两种：一种为基于偏移量和最大记录行数的分配规则：首先获得外部数据系统中待查询的数据的总记录行数，然后根据总记录行数和数据交换节点的个数，对各数据交换节点分配对应的查询范围，最后各个数据交换节点并行地在外部数据系统中对分配到的范围进行查询，并返回查询结果。

另一种为基于记录标识范围的分配规则：首先计算外部数据系统中待查询数据的记录标识的取值范围，然后根据记录标识的取值范围和数据交换节点的个数，对各数据交换节点分配对应的记录标识的查询范围，最后各个数据交换节点并行地在外部数据系统中对分配到的记录标识的查询范围进行查询，并返回查询结果。

对于第一种分配规则，由于每个数据交换节点都需要在外部数据系统中并行地进行复杂的查询操作，并需要对查询结果进行排序才能保证总的查询结果的正确性，因此在处理大数据量时性能较差，处理效率较低；并且，由于每个数据交换节点都会并行地向外部数据系统的数据表提交查询请求，因此当存在大量数据交换节点时会对系统造成巨大负担。

对于第二种分配规则，由于采用记录标识来分割外部数据系统中的数据，不能保证分配到每个数据交换节点的查询数据量均匀，因此会导致在并行查询时，一些数据交换节点的运行时间相对较长使得整体查询效率低；并且，此种方式只能处理有记录标识且记录标识为数字型(int或long类型)的数据，会带来使用的局限性。

发明内容

本发明实施例提供了一种数据查询操作的实现方法、装置及系统，用以解决现有的数据查询操作在实现时服务器负担较重、查询效率较低的问题。

本发明实施例提供的一种数据查询操作的实现方法，包括：

对外部数据系统的数据表执行查询操作，将查询到的数据缓存到预先建立的临时表中；

对所述临时表中缓存的每设定行数的数据增加一个索引，直至最后一行数据；

根据所述临时表中所有数据的总记录行数和数据存储系统中的数据交换节点的个数，将所述临时表中的所有数据均匀分配给各数据交换节点，确定各数据交换节点对应的索引范围；

向各数据交换节点下发为其分配的索引范围，以便各数据交换节点按照所分配的索引范围并行地从所述临时表中读取数据至所述数据存储系统。

本发明实施例提供的一种数据查询操作的实现装置，包括：

查询模块，用于对外部数据系统的数据表执行查询操作，将查询到的数据缓存到预先建立的临时表中；

索引建立模块，用于对所述临时表中缓存的每设定行数的数据增加一个索引，直至最后一行数据；

索引分配模块，用于根据所述临时表中所有数据的总记录行数和数据存储系统中的数据交换节点的个数，将所述临时表中的所有数据均匀分配给各数据交换节点，确定各数据交换节点对应的索引范围；

发送模块，用于向各数据交换节点下发为其分配的索引范围，以便各数据交换节点按照所分配的索引范围并行地从所述临时表中读取数据至所述数据存储系统。

本发明实施例提供的一种数据查询操作的实现系统，包括：外部数据系统和数据存储系统，还包括：数据查询操作的实现装置；其中，

所述数据查询操作的实现装置，用于对外部数据系统的数据表执行查询操作，将查询到的数据缓存到预先建立的临时表中；对所述临时表中缓存的每设定行数的数据增加一个索引，直至最后一行数据；根据所述临时表中所有数据的总记录行数和数据存储系统中的数据交换节点的个数，将临时表中的所有数据均匀分配给各数据交换节点，确定各数据交换节点对应的索引范围；向各数据交换节点下发为其分配的索引范围；

所述数据存储系统包括多个数据交换节点，每个数据交换节点用于根据接收到的所述数据查询操作的实现装置发送的索引范围，从所述临时表中读取数据至所述数据存储系统。

本发明实施例的有益效果包括：