[发明专利]一种实现Spark Thrift Server高可用的方法及系统

说明书

本发明涉及大数据存储与计算技术领域，具体提供了一种实现Spark Thrift Server高可用的方法，Spark Thrift Server启动时，获取ZooKeeper客户端连接，将Spark Thrift Server信息写入ZooKeeper；当客户端连接Spark Thrift Server服务时，连接时首先请求ZooKeeper服务，获取命名空间下所有Spark Thrift Server节点，通过均衡算法选举一个Spark Thrift Server节点，连接到Spark Thrift Server，当Spark Thrift Server服务停止时，同时需要从ZooKeeper中将节点信息注销。与现有技术相比，本发明当某个Spark Thrift Server节点出现故障时，不会对客户端造成影响，从而实现高可用。

技术领域

本发明涉及大数据存储与计算技术领域，具体提供一种实现Spark ThriftServer高可用的方法及系统。

背景技术

Spark Thrift Server是在HiveServer2的基础上实现的，提供了Thrift服务，也就是远程JDBC/ODBC服务。用户可以通过命令行或JDBC/ODBC接口，进行交互式查询，无需编写任何代码。用户画像，对受众目标进行筛选，数据源是在Hive数据仓库，早期直接采用Hive on Spark的方式去做处理，但是性能不是很高，计算比较慢，不能满足近实时的要求，后来改用Thrift Server，在大部分场景下，性能要比Hive on Spark好很多，Spark SQL的社区活跃度也很高，因此性能还会不断提高。

尽管我们使用Spark Thrift Server性能得到了提高，但同时也存在单点问题，所有Spark SQL查询都走唯一一个Spark Thrift节点上的同一个Spark Driver，任何故障都会导致这个唯一的Spark Thrift节点上的所有作业失败，从而需要重启Spark ThriftServer。

发明内容

本发明是针对上述现有技术的不足，提供一种实用性强的实现Spark ThriftServer高可用的方法。

本发明进一步的技术任务是提供一种设计合理，安全适用的实现Spark ThriftServer高可用的装置。

本发明解决其技术问题所采用的技术方案是：

一种实现Spark Thrift Server高可用的方法，Spark Thrift Server启动时，读取配置文件中ZooKeeper连接地址、ZooKeeper端口号和ZooKeeper命名空间，获取ZooKeeper客户端连接，将Spark Thrift Server信息写入ZooKeeper；

当客户端连接Spark Thrift Server服务时，将原来的JDBC连接地址由IP、端口号替换成ZooKeeper连接地址，连接时首先请求ZooKeeper服务，获取命名空间下所有SparkThrift Server节点，通过均衡算法选举一个Spark Thrift Server节点，连接到SparkThrift Server，当Spark Thrift Server服务停止时，同时需要从ZooKeeper中将节点信息注销。

进一步的，在Spark Thrift Server中添加addServerInstanceToZooKeeper和removeServerInstanceFromZooKeeper代码块，用于注册及注销ZooKeeper服务。

进一步的，添加addServerInstanceToZooKeeper和removeServerInstanceFromZooKeeper代码块时，具体的逻辑如下：