[发明专利]消息队列处理方法、装置和消息队列管理系统

说明书

本公开实施例公开了消息队列处理方法、装置和消息队列管理系统。消息队列处理方法包括：在消息队列存储节点的虚拟内存中建立用于缓存热消息的第一缓存区和用于缓存冷消息的第二缓存区；根据对消息队列的读取请求，确定所述读取请求所请求的消息的索引值；根据所述索引值确定从所述第一缓存区读取所请求的消息还是位于所述第二缓存区；从所述第一缓存区或所述第二缓存区返回所述读取请求所请求的消息，可以实现对冷热消息数据采用不同缓存区进行缓存，使得冷热消息数据的读缓存进行了物理上的分离，减少了系统大量冷读对于硬盘IO的占用，而且可以通过控制第二缓存区来减少硬盘的冷读访问，防止硬盘读写出现性能瓶颈。

技术领域

本公开涉及计算机技术领域，具体涉及消息队列处理方法、装置和消息队列管理系统。

背景技术

目前的面向消息的系统(消息中间件)是在分布式系统中完成消息的发送和接收的基础软件。消息中间件也可以称为消息队列，是指用高效可靠的消息传递机制进行与平台无关的数据交流，并基于数据通信来进行分布式系统的集成。消息队列可以在分布式环境下扩展进程的通信。但是，现有技术的消息队列产品在流计算以及大量历史数据消费的场景下常常面临冷热数据读写问题，最终导致性能瓶颈。例如，一种现有技术的消息队列目前面临的问题如下：

·消息队列在延迟消费的情况下会产生硬盘读写的性能瓶颈，尤其是在多队列延迟消费场景下会出现严重的性能问题和服务质量问题。

·消息队列的streaming模式(或称为流模式)会存在大量的冷读(读取冷消息)，会严重影响消息写入时的性能。冷读会大量占用内存资源并严重影响跟随消费(热消息消费)以及消息的写入(页面缓存区Page Cache的资源竞争以及硬盘IO的竞争)，而且冷读的时延长，吞吐量低。

又例如，现有技术的另一种消息队列在流计算场景中并没有考虑冷热消息数据读写分离，在大量读取历史数据时会存在以下技术上的缺点：

·当客户端由于各种原因从服务端拉取消息的起始位点很小时，此时客户端拉取的数据将不会命中Page Cache，数据存储在硬盘上，大量的数据会从硬盘进行冷读，导致消息数据读取的性能不高，进一步影响消息消费的速度，整体系统性能收到严重影响。

·当大量的数据从硬盘中读取时，会占用硬盘的IO，导致IO产生瓶颈，进而影响本身存储节点热数据的读写，最终导致系统整体读写性能下降。

·由于读取的数据很多是冷数据，读取到内存中之后会大量占用系统的PageCache，与消息的写入以及热读(热消息读取)部分数据竞争缓存，从而影响原本属于热数据的Page Cache的容量，最终导致整体的读写产生性能瓶颈。

因此，现有技术的消息队列没有考虑冷热消息数据读写分离，导致采用消息队列的系统在消息读写方面产生性能瓶颈

发明内容

为了解决相关技术中的问题，本公开实施例提供消息队列处理方法、装置和消息队列管理系统，对冷热消息数据采用不同的缓存区进行缓存，将冷热消息数据的读缓存进行了物理上的分离，克服了大量冷消息数据读取时对整体系统性能的影响，提高了系统整体的读写性能以及吞吐量，而且针对消息场景中流模式的大量冷消息数据读取提供了更强的支持。

第一方面，本公开实施例中提供了一种消息队列处理方法，其中，所述方法包括：

在消息队列存储节点的虚拟内存中建立用于缓存热消息的第一缓存区和用于缓存冷消息的第二缓存区；

根据对消息队列的读取请求，确定所述读取请求所请求的消息的索引值；

根据所述索引值确定从所述第一缓存区还是从所述第二缓存区读取所请求的消息；

从所述第一缓存区或所述第二缓存区返回所述读取请求所请求的消息。