[发明专利]基于Kafka集群的动态限速方法、装置以及计算机设备

说明书

本申请公开了一种基于Kafka集群的动态限速方法，该方法包括：获取Kafka集群中目标Kafka节点在当前时间段的多个输入输出指标值；当任一所述输入输出指标值大于第一阈值时，若所述目标Kafka节点的数据读出率小于或等于预设的第二阈值，查找出写入数据量超过预设的第三阈值的主题分区作为第一目标主题分区并调整其写入速度；若所述数据读出率大于所述第二阈值，查找出对所述目标Kafka节点中第二目标主题分区对应的磁盘执行数据读出操作且读出速度大于预设的第四阈值的消费者作为目标消费者并调整其读出速度。本申请还提供一种基于Kafka集群的动态限速装置、计算机设备以及计算机可读存储介质。本申请能够实现对Kafka集群的精确限速，提高了限速执行效率。

技术领域

本申请涉及互联网技术领域，尤其涉及一种基于Kafka集群的动态限速方法、装置、计算机设备及计算机可读存储介质。

背景技术

随着信息时代的到来，对于大数据的相关数据处理能力对信息技术的发展尤为重要。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。而且，现有的大部分大数据处理框架，比如Storm(Twitter开源的分布式实时大数据处理框架)、Flink(Apache软件基金会开发的开源流处理框架)、Spark(专为大规模数据处理而设计的快速通用的计算引擎)都支持读出和写入Kafka的数据，因此，Kafka被广泛应用于大数据应用领域。

然而，在实际的生产环境中，Kafka被多个数据生产方/消费方一起使用，如果某一方写入/读出的数据量暴增达到Kafka集群的性能瓶颈的话，整个集群将达到不可用的状态，严重影响到其他生产方/消费方，这个风险在任何的业务系统里是不能容忍的。

为了避免Kafka集群不可用的情况，目前，通过在Kafka集群进行监控，若发现写入/读出的数据量异常，则查找出Kafka集群中的对应的Kafka节点进行限速；或者查找出对应的生产方/消费方进行限速。但是，现有的这种限速方式，往往会降低Kafka节点的服务效率，也会影响很多“无辜”的生产方/消费方的业务状态。也就是说，现有的限速方式，精确度不高，执行效率低下。

发明内容

有鉴于此，本申请提出一种基于Kafka集群的动态限速方法、装置、计算机设备及计算机可读存储介质，能够解决现有技术中对基于Kafka集群执行限速过程的限速精确度不高，执行效率低下的问题。

首先，为实现上述目的，本申请提供一种基于Kafka集群的动态限速方法，所述方法包括：

获取Kafka集群中目标Kafka节点在当前时间段的多个输入输出指标值，所述目标Kafka节点为所述Kafka集群中的任一Kafka节点；判断所述多个输入输出指标值中的至少任一项是否大于预设的第一阈值；当所述输入输出指标值大于所述第一阈值时，计算出所述目标Kafka节点的数据读出率；当所述数据读出率小于或等于预设的第二阈值时，查找出写入数据量超过预设的第三阈值的主题分区作为第一目标主题分区，调整所述第一目标主题分区的写入速度；当所述数据读出率大于所述第二阈值时，查找出对所述目标Kafka节点中第二目标主题分区对应的磁盘执行数据读出操作且读出速度大于预设的第四阈值的消费者作为目标消费者，其中，所述第二目标主题分区为所述目标Kafka节点中的任一主题分区，调整所述目标消费者对所述第二目标主题分区的读出速度。

在一个例子中，所述数据读出率＝读出数据量/(读出数据量+写入数据量)。