[发明专利]数据查询服务器的数据处理方法及装置、数据处理系统

说明书

技术领域

本发明涉及数据库技术领域，特别涉及数据查询服务器的数据处理方法及装置、数据处理系统。

背景技术

随着数据的大量存储，针对传统的关系型数据库，有时会采用分表分库的形式，将大量数据按照一定的规则，存储到不同数据库的不同表中。但是针对分表分库的情况，查询的效率受到很大影响，特别是针对复杂条件的组合查询，问题更为突出。因此如何提高数据查询效率成为需要解决的问题。

发明内容

本发明实施例提供了数据查询服务器的数据处理方法及装置、数据处理系统。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

根据本发明实施例的第一方面，提供了一种数据查询服务器的数据处理方法，所述方法包括：

接收数据装载服务器插入的更新数据，所述更新数据由所述数据装载服务器从至少两个分表数据库中抽取；

为所述更新数据创建用于数据查询的倒排索引。

可选的，所述为所述更新数据建立用于数据查询的倒排索引，包括：

根据所在集群中各数据查询服务器的负载，确定为所述更新数据创建倒排索引的数据查询服务器；

将所述更新数据分成数据分片、并将各数据分片分配给确定出的数据查询服务器；

当有分配给本数据查询服务器的数据分片时，针对分配给本数据查询服务器的数据分片创建倒排索引，并索引至本数据查询服务器的索引分片中。

进一步，所述分配给本数据查询服务器的数据分片，包括：

本数据查询服务器分配的数据分片；或者，

所在集群中其他数据查询服务器分配的数据分片；或者，

本数据查询服务器分配的数据分片和所在集群中其他数据查询服务器分配的数据分片。

进一步，所述方法还包括：

当针对分配给本数据查询服务器的数据分片创建倒排索引失败时，如果创建失败的数据分片由本数据查询服务器分配，向插入所述创建失败的数据分片的数据装载服务器发送创建失败消息，如果所述创建失败的数据分片由所在集群中的其他数据查询服务器分配，向分配所述创建失败的数据分片的数据查询服务器发送创建失败消息；所述创建失败消息中携带所述创建失败的数据分片的标识；

接收重新发送的所述创建失败的数据分片，为所述创建失败的数据分片创建倒排索引，并索引至本数据查询服务器的索引分片中。

可选的，所述根据所在集群中各数据查询服务器的负载，确定为所述更新数据创建倒排索引的数据查询服务器，包括：

获取所在集群中各数据查询服务器的权重，所述权重越大的数据查询服务器对应的负载越小；

选择权重大于设定阈值的数据查询服务器，作为为所述更新数据创建倒排索引的数据查询服务器。

可选的，所述方法还包括：

接收数据查询请求；

根据所在集群中各数据查询服务器的负载，将所述数据查询请求分配给所在集群中的数据查询服务器；

当有分配给本数据查询服务器的数据查询请求时，根据所述分配给本查询服务器的数据查询请求，查询本数据查询服务器及所在集群其他各数据查询服务器中的索引分片；根据查询结果应答所述分配给本数据查询服务器的数据查询请求。

可选的，所述接收数据装载服务器插入的更新数据，包括：接收至少两个数据装载服务器插入的更新数据；

其中，每个所述数据装载服务器用于按照设定抽取方式，从所述至少两个分表数据库中抽取本数据装载服务器负责的更新数据。

可选的，所述抽取方式，包括以下至少一项：

抽取对应存储时间的更新数据；

抽取对应地理位置来源的更新数据；

抽取对应类别的更新数据。

根据本发明实施例的第二方面，提供一种数据查询服务器的数据处理装置，所述装置包括：

第一接收模块，用于接收数据装载服务器插入的更新数据；所述更新数据由所述数据装载服务器从至少两个分表数据库中抽取；

索引创建模块，用于为所述更新数据建立用于数据查询的倒排索引。

可选的，所述索引创建模块，包括：

负载均衡子模块，用于根据所在集群中各数据查询服务器的负载，确定为所述更新数据创建倒排索引的数据查询服务器；

分配子模块，用于将所述更新数据分成数据分片、并将各数据分片分配给确定出的数据查询服务器；