[发明专利]Kafka同步刷盘方法、装置及消息服务器

说明书

本申请实施例提供一种Kafka同步刷盘方法、装置及消息服务器，方法包括：在针对目标磁盘的刷盘前置条件检查通过后执行Kafka消息中间件的刷盘步骤：更新当前的目标时刻，向截止至目标时刻确定的多个消息写入线程发出刷盘权力争夺指令，将其中争夺到刷盘权力的一个消息写入线程确定为刷盘线程，并将内存中截止至目标时刻获取的全部消息对象均刷新至目标磁盘；向当前所有处于等待状态中的消息写入线程分别发送刷盘完成通知，以针对在目标时刻之后新增的消息写入线程再次执行Kafka消息中间件的刷盘步骤。本申请能够有效避免数据丢失情形的发生，能够有效提高响应速度，并能够有效提高Kafka消息中间件在同步刷盘模式下的吞吐量。

技术领域

本申请涉及数据处理技术领域，具体涉及Kafka同步刷盘方法、装置及消息服务器。

背景技术

随着分布式、微服务、流计算、大数据在IT行业的广泛应用，消息中间件以其能够降低系统耦合度、高可用、高性能、易扩展、易维护、支持实时处理等优势成为必备中间件。其中，高吞吐量的分布式发布订阅消息系统Kafka(Apache Kafka)以其开源、稳定、高效和流计算的优势，逐渐成为业界流行的消息中间件产品。但是，Kafka最初作为互联网公司开源出来的产品，在金融、电信等对消息吞吐量大、消息可靠性要求高的场景，也显露出它的一些不足。

为提高Kafka消息中间件的吞吐量，Kafka消息中间件的大部分用户会采用异步刷盘模式或同步模式下的批量汇总模式，然而，这两种方式无法同时解决数据易丢失以及易出现响应不及时的问题，因此无法进一步提高Kafka消息中间件在同步刷盘模式下的吞吐量。

发明内容

针对现有技术中的问题，本申请提供一种Kafka同步刷盘方法、装置及消息服务器，能够有效避免数据丢失情形的发生，能够有效提高响应速度，客户端调用能够获得更少的延时，并能够有效提高Kafka消息中间件在同步刷盘模式下的吞吐量，进而能够有效提高Kafka消息中间件的运行效率及可靠性。

为解决上述技术问题，本申请提供以下技术方案：

第一方面，本申请提供一种Kafka同步刷盘方法，包括：

在针对目标磁盘的刷盘前置条件检查通过后执行预设的Kafka消息中间件的刷盘步骤；

其中，所述Kafka消息中间件的刷盘步骤包括：更新当前的目标时刻，向截止至所述目标时刻确定的多个消息写入线程发出刷盘权力争夺指令，将其中争夺到刷盘权力的一个消息写入线程确定为刷盘线程，并应用该刷盘线程将Kafka内存中截止至所述目标时刻获取的全部消息对象均刷新至所述目标磁盘；

应用所述刷盘线程向当前所有处于等待状态中的消息写入线程分别发送刷盘完成通知，以针对在所述目标时刻之后新增的消息写入线程再次执行所述Kafka消息中间件的刷盘步骤。

进一步地，所述应用所述刷盘线程向当前所有处于等待状态中的消息写入线程分别发送刷盘完成通知，以针对在所述目标时刻之后新增的消息写入线程再次执行所述Kafka消息中间件的刷盘步骤，包括：

应用所述刷盘线程向当前所有处于等待状态中的消息写入线程分别发送刷盘完成通知；

应用接收到所述刷盘完成通知的各个所述消息写入线程分别检测各自对应的消息对象是否已刷新至所述目标磁盘；

若存在检测到自身对应的消息对象未刷新至所述目标磁盘的消息写入线程，则将该消息写入线程确定为在所述目标时刻之后新增的消息写入线程；

针对在所述目标时刻之后新增的各个消息写入线程再次执行所述Kafka消息中间件的刷盘步骤。

进一步地，还包括：

判断当前处于等待状态中的各个所述消息写入线程是否均在预设的等待时间内收到所述刷盘线程发送的刷盘完成通知；