[发明专利]一种去中心化的数仓智能组网系统及方法

说明书

本发明公开了一种去中心化的数仓智能组网系统及方法，为了解决自动完成大数据数仓集群的组网的问题，包括：若干个智能数仓一体机，包括计算引擎、数仓存储、调度引擎、查询引擎、算法仓库、应用服务和令牌总线管理；若干个机柜总线控制器，每个所述机柜总线控制器控制若干个所述智能数仓一体机；网络交换机，用于若干个所述机柜总线控制器和若干个所述智能数仓一体机之间的网络交换；TCP/IP总线，用于连接所述机柜总线控制器、所述网络交换机和所述智能数仓一体机。本发明的有益效果是：可以自动完成大数据数仓集群的组网。

技术领域

本发明涉及大数据数仓一体机组网领域，尤其涉及一种去中心化的数仓智能组网系统及方法。

背景技术

近年随着大数据技术的发展，基于数据仓库的海量数据分析成为各种业务系统进行业务分析、用户画像、产品跟踪的必备，在智慧城市、工业互联网、智慧校园等多个行业发挥了重要作用，但是大数据、数据仓库技术体系复杂，涉及到海量数据存储、大数据实时计算、离线算法分析、高并发任务调度等多个技术场景，正因为大数据、数据仓库产品需要满足用户对于各种大数据分析场景的需求，在技术选型时往往引入了各种技术中间件来实现相关需求，导致大数据项目实施成本高、部署困难、部署规格不一致，从而导致实施后效果不统一、运维困难、问题多，达不到用户对于性能、正确性、可靠性方面的要求。

由此很多大数据产品厂商纷纷推出了标准化的数仓一体机，简化了实施安装、部署、调试的过程，能够做到开箱即用，针对一些中小规模的项目起到了立竿见影的效果，但是一体机因为本身配置规格的限制，性能指标受限，无法满足用户业务发展后对于性能扩展的要求。

因此本发明提出了基于TCP/IP总线，利用基于智能机柜的令牌控制装置器和智能数仓一体机令牌管理服务，通过可信令牌在机房、机柜能完成集群节点的自动发现、识别、组网，通过标准化的一体机自动完成大数据数仓集群的组网。

一种在中国专利文献上公开的“大数据平台数仓之间数据同步方法、装置及存储介质”，其公布号CN111984731A，包括：连接至少两个数仓，至少两个数仓包括一个源环境数仓和至少一个目标环境数仓；在源环境数仓和目标环境数仓均存在源表的情况下，判断源环境数仓中的源表与目标环境数仓中的源表的表结构是否一致；当源环境数仓中的源表与目标环境数仓中的源表的表结构不一致时，删除目标环境数仓中的源表，并从源环境数仓中导出源表的建表语句；在目标环境数仓中执行建表语句，以实现源环境数仓和目标环境数仓之间的数据同步。其不足之处是：没有解决自动完成大数据数仓集群的组网的问题。

发明内容

本发明主要是为了解决自动完成大数据数仓集群的组网的问题，提供一种去中心化的数仓智能组网系统及方法，可以自动完成大数据数仓集群的组网。

为了实现上述目的，本发明采用以下技术方案：

一种去中心化的数仓智能组网系统，包括：

若干个智能数仓一体机，包括计算引擎、数仓存储、调度引擎、查询引擎、算法仓库、应用服务和令牌总线管理；

若干个机柜总线控制器，每个所述机柜总线控制器控制若干个所述智能数仓一体机；

网络交换机，用于若干个所述机柜总线控制器和若干个所述智能数仓一体机之间的网络交换；

TCP/IP总线，用于连接所述机柜总线控制器、所述网络交换机和所述智能数仓一体机。

所述TCP/IP总线还可以用于组网过程中的令牌传递和信息传递，起数据运输的作用。所述TCP/IP总线将现场的数据与信息系统上的资源共享，其数据的传输距离长、传输速率高、易与Internet连接，便于所述机柜总线控制器、所述网络交换机和所述智能数仓一体机之间的组网。

所述网络交换机通过报文的形式交换接收和转发数据到目标设备，起扩大网络的作用。

作为优选，所述智能数仓一体机内设置安全芯片，所述安全芯片用于向网络投递和接收合法令牌并通过解析令牌信息完成计算引擎集群、数仓存储集群、调度引擎集群的组网。