[发明专利]一种大数据聚合查询方法

说明书

本发明提供了一种大数据聚合查询方法，该方法包括：在需要同步的源数据表中增加标识字段；在聚合数据库中设置中间表作为业务查询表；部署Logstash集群作为数据同步中间件；在Logstash集群中设置数据同步配置文件；启动Logstash集群同步数据。应用本发明可以可以解决微服务架构中跨服务、跨数据库的关联查询问题，提高教育云平台上的软件的查询效率。

技术领域

本申请涉及数据查询技术领域，尤其涉及一种大数据聚合查询方法。

背景技术

目前，随着计算机技术和网络技术创新进步，特别是虚拟化技术的进步，还有新概念、新方案的创新和发展，尤其是Docker技术的快速发展，为在线教育云平台的推出奠定了基础。

在现有技术中，教育云平台一般采用微服务架构。微服务架构解决了传统的分层架构中的一些问题，它的核心特点是高可伸缩性、易于开发、测试和部署独立的服务组件，这些服务组件解耦的、分布式的、相互独立的。

但是，在教育云平台上采用微服务架构时，由于源数据分布在各个数据库中，因此在对源数据进行查询时，难以解决跨服务、跨数据库的关联查询问题，查询效率较低。

发明内容

有鉴于此，本发明提供了一种大数据聚合查询方法，从而可以解决微服务架构中跨服务、跨数据库的关联查询问题，提高教育云平台上的软件的查询效率。

本发明的技术方案具体是这样实现的：

一种大数据聚合查询方法，该方法包括如下步骤：

在需要同步的源数据表中增加标识字段；

在聚合数据库中设置中间表作为业务查询表；

部署Logstash集群作为数据同步中间件；

在Logstash集群中设置数据同步配置文件；

启动Logstash集群同步数据。

较佳的，所述源数据表为基础数据库中的用户表或业务数据库中的业务表。

较佳的，所述标识字段为时间戳。

较佳的，所述启动Logstash集群同步数据包括：

当源数据表中的数据发生变更时，更改源数据表中的标识字段的取值；

Logstash集群按照预设时间间隔轮询相应的源数据表；

当Logstash集群检测到源数据表中的标识字段的取值发生变化时，从源数据表中读取变更后的数据并进行处理；

Logstash集群将处理后的数据输出至聚合数据库中的中间表。

较佳的，所述Logstash集群包括多个Logstash。

较佳的，当Logstash集群包括第一Logstash、第二Logstash和第三Logstash时：

将第一Logstash、第二Logstash和第三Logstash注册到ZooKeeper中；

将第一Logstash和第三Logstash作为主Logstash，将第二Logstash作为从Logstash，将各个主Logstash的同步状态保存到ZooKeeper中；

当任意一个主Logstash的服务出现问题时，由ZooKeeper选举产生新的主Logstash；

新的主Logstash从ZooKeeper获取数据同步状态，继续执行任务。

较佳的，所述基础数据库中的用户表中的数据包括：用户编号、姓名和性别；