[发明专利]一种实现Spark Thrift Server高可用的方法及系统

权利要求书

1.一种实现Spark Thrift Server高可用的方法，其特征在于，Spark Thrift Server启动时，读取配置文件中ZooKeeper连接地址、ZooKeeper端口号和ZooKeeper命名空间，获取ZooKeeper客户端连接，将Spark Thrift Server信息写入ZooKeeper；

当客户端连接Spark Thrift Server服务时，将原来的JDBC连接地址由IP、端口号替换成ZooKeeper连接地址，连接时首先请求ZooKeeper服务，获取命名空间下所有SparkThrift Server节点，通过均衡算法选举一个Spark Thrift Server节点，连接到SparkThrift Server，当Spark Thrift Server服务停止时，同时需要从ZooKeeper中将节点信息注销。

2.根据权利要求1所述的一种实现Spark Thrift Server高可用的方法，其特征在于，在Spark Thrift Server中添加addServerInstanceToZooKeeper和removeServerInstanceFromZooKeeper代码块，用于注册及注销ZooKeeper服务。

3.根据权利要求2所述的一种实现Spark Thrift Server高可用的方法，其特征在于，添加addServerInstanceToZooKeeper和removeServerInstanceFromZooKeeper代码块时，具体的逻辑如下：

首先在Spark配置文件中添加hive.server2.support.dynamic.service.discovery配置项，将值改为true，使Spark Thrift Server服务被动态发现，添加hive.server2.zookeeper.namespace配置项，值为ZooKeeper命名空间名称，当Spark Thrift Server启动时将节点信息写到该命名空间下，添加hive.zookeeper.quorum配置项，所述配置项为ZooKeeper服务的连接地址，同时添加hive.zookeeper.client.port配置项，所述配置项为ZooKeeper连接的端口号，通过添加这两个配置项连接到ZooKeeper，将节点信息写入节点中。

4.根据权利要求3所述的一种实现Spark Thrift Server高可用的方法，其特征在于，修改Spark Thrift Server启动代码，如果配置了动态发现为true则利用反射原理调用addServerInstanceToZooKeeper方法，将Spark Thrift Server节点注册到ZooKeeper；

addServerInstanceToZooKeeper执行逻辑如下：首先读取Spark配置文件，获取ZooKeeper IP地址、ZooKeeper端口号、ZooKeeper命名空间、ZooKeeper会话超时时间、ZooKeeper连接失败最大重试次数和每次重试间隔，用于初始化ZooKeeper客户端；

ZooKeeper客户端创建完成后，创建ZooKeeper数据节点znode，数据节点名称为SparkThrift Server统一资源标识符加版本号加序列号，数据节点内容为Spark Thrift Server节点相关信息，添加getServerInstanceURI方法用于获取Spark Thrift Server节点IP地址和端口号，调用getHostName和getPortNumber方法分别获取IP地址和端口号，添加addConfsToPublish方法，用于获取需要写入ZooKeeper数据节点的属性值。