[发明专利]基于消息队列的跨数据源查询方法、系统及服务器节点

说明书

本发明提供一种基于消息队列的跨数据源查询方法、系统及服务器节点，所述基于消息队列的跨数据源查询系统包括：SOL预处理模块，用于基于用户输入的数据生成SOL语句；SOL优化模块，用于对所述SOL语句进行优化获取执行效率最高的SOL语句；元数据更新模块，用于根据所述执行效率最高的SOL语句获取搜索数据，并根据所述搜索数据更新本地节点，将更新数据随机镜像到预先配置的消息队列集群中的各个节点的消息队列。本发明可以进一步提高查询吞吐量，实现跨数据源跨区域的分布式查询，连接到任意节点的用户端能够看到集群中所有队列，即使该队列不位于连接节点上。

技术领域

本发明属于大数据技术领域，特别是涉及跨数据源分布式查询技术领域。

背景技术

跨数据源分布式查询是近年来业界的研究热点之一。传统的技术方案由于可扩展性和处理性能的限制无法满足其要求。新兴基于消息队列的具有良好的可扩展性，需要将不同数据源数据汇聚到同一个数据库里，由于不可篡改性、匿名性和去中心化等特性，区块链技术得到了工业界和学术界的广泛关注，催生了大量区块链应用，包括比特币、以太坊等。传统区块链采用链式结构，通过全网共识机制维护全局统一的最长链，查询吞吐量低、且不可扩展，使其不能应用于对实时性要求较高和高吞吐量的场景中，如银行和交易所等。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于消息队列的跨数据源查询方法、系统及服务器节点，用于解决现有技术中跨数据源查询数据查询吞吐量低、且不可扩展的技术问题。

为实现上述目的及其他相关目的，本发明的实施例提供一种基于消息队列的跨数据源查询方法，包括：基于用户输入的数据生成SOL语句；对所述SOL语句进行优化获取执行效率最高的SOL语句；根据所述执行效率最高的SOL语句获取搜索数据，并根据所述搜索数据更新本地节点；将更新数据随机镜像到预先配置的消息队列集群中的各个节点的消息队列。

于本申请的一实施例中，所述基于用户输入的查询数据生成SOL语句的一种具体实现方式包括：声明待查询的变量；对操作数据进行分组和/或关联；根据所述待查询的变量、操作数据的分组和/或关联以及本地节点的元数据生成SOL语句。

于本申请的一实施例中，所述对所述SOL语句进行优化获取执行效率最高的SOL语句的实现方式包括：对所述SOL语句进行语法解析，将带索引的变量放在查询条件的最前方并删除非必要的变量。

于本申请的一实施例中，所述基于消息队列的跨数据源查询方法还包括：搭建RabbotMQ集群，配置RabbotMQ集群中的多个节点，使得每个所述节点既是中心节点，又是附属节点，连接到任意节点的用户端均可看到集群中所有队列。

于本申请的一实施例中，所述更新本地节点的方式包括实时更新，手动更新和触发更新。

本申请的实施例还提供一种基于消息队列的跨数据源查询系统，包括：SOL预处理模块，用于基于用户输入的数据生成SOL语句；SOL优化模块，用于对所述SOL语句进行优化获取执行效率最高的SOL语句；元数据更新模块，用于根据所述执行效率最高的SOL语句获取搜索数据，并根据所述搜索数据更新本地节点，将更新数据随机镜像到预先配置的消息队列集群中的各个节点的消息队列。

于本申请的一实施例中，所述基于消息队列的跨数据源查询系统还包括：可视化操作模块，用于声明待查询的变量、对操作数据进行分组和/或关联。

于本申请的一实施例中，所述SOL优化模块通过对所述SOL语句进行语法解析，将带索引的变量放在查询条件的最前方并删除非必要的变量的方式获取执行效率最高的SOL语句。

于本申请的一实施例中，所述基于消息队列的跨数据源查询系统还包括：节点配置模块，用于搭建RabbotMQ集群，配置RabbotMQ集群中的多个节点，使得每个所述节点既是中心节点，又是附属节点，连接到任意节点的用户端均可看到集群中所有队列。