[发明专利]一种InfluxDB高可用集群实现系统及方法

说明书

本发明公开了一种InfluxDB高可用集群实现系统及方法，属于大数据存储技术领域。本发明的InfluxDB高可用集群实现系统包括Bufferson单元、健康状态检查单元和反向代理单元；Bufferson单元用于内部缓冲的异步HTTP代理；健康状态检查单元用于监控各节点简况状态，恢复数据时自动遍历删除InfluxDB节点；反向代理单元由Nginx支持，以限制客户端在单位时间内可以发出的HTTP请求数量。该发明的InfluxDB高可用集群实现系统将指标写入任意数量的InfluxDB节点，并在所有节点之间分配查询的高可用性的服务，具有很好的推广应用价值。

技术领域

本发明涉及大数据存储技术领域，具体提供一种InfluxDB高可用集群实现系统及方法。

背景技术

当前，从InfluxDBv0.9版本以后，用户就无法从开源免费版本创建出InfluxDB高可用集群。目前只有商业版可以用InfluxDB Enterprise来实现。这样为InfluxDB使用者带来诸多不便，尤其是在专业设置中的使用，使用者认为是InfluxDB背后的公司-InfluxData试图挤占OSS解决方案来获取利润。

这种状况对InfluxData公司也是无可厚非的，但是商业版的InfluxDB的费用对不少使用者来说确实是不小的负担。对那些严重依赖InfluxDB的企业或者组织来说，这都是很高的成本。

虽然后来InfluxData发行了Influx Relay这一解决方案，但是因为有诸多未解决的问题，而未被广泛接受。所以需要一个能真正实现高可用架构、解决市场存在的问题的方案。

发明内容

本发明的技术任务是针对上述存在的问题，提供一种将指标写入任意数量的InfluxDB节点，并在所有节点之间分配查询的高可用性的服务的InfluxDB高可用集群实现系统及方法。

为实现上述目的，本发明提供了如下技术方案：

一种InfluxDB高可用集群实现系统，包括Bufferson单元、健康状态检查单元和反向代理单元；

Bufferson单元用于内部缓冲的异步HTTP代理；

健康状态检查单元用于监控各节点简况状态，恢复数据时自动遍历删除InfluxDB节点；

反向代理单元由Nginx支持，以限制客户端在单位时间内可以发出的HTTP请求数量。

作为优选，所述Bufferson单元使用队列提供临时性的高可用性存储，为异步缓冲的HTTP处理提供简单的代理功能。

作为优选，所述Bufferson单元包括Replay-组件和Recover-组件，Replay-组件将HTTP请求直接转发到每个上游节点，将失败的请求放入缓冲区，Recover-组件持续处理队列并尝试传递缓冲请求。

作为优选，当请求发送到Bufferson单元时，通过负载均衡机制，健康状态检查单元转发到InfluxDB实例。

InfluxDB支持/ping，这可以方便验证服务是否正在运行，但是实际上还需要确保当节点从临时故障中恢复并且缓存数据仍在刷新时，它不会处理任何查询。因此不能完全依赖调用/ping接口来验证结点是否健康。本地运行健康状态检查，负载均衡器用于将节点置于on/off的状态进行查询。

作为优选，在每个InfluxDB实例上运行一个本地守护程序，InfluxDB实例执行检查调用InfluxDB的/ping节点和Bufferson判定节点未恢复数据两次检查，两次检查均成功后返回成功。

作为优选，反向代理单元中，通过将所有的流量通过Nginx和Nginx http limitreq module实现合理的负载分配。