[发明专利]流处理系统的数据读写方法和流处理系统

说明书

本申请涉及一种本实施例中提供的一种流处理系统的数据读写方法和流处理系统。其中，该方法包括：流处理系统的Broker接收读写数据请求；响应于读写数据请求，Broker通过读写缓存进行数据的读写操作，其中，读写缓存是由Broker从堆外内存中申请的预设内存空间。通过本申请，解决了流处理速度慢的问题，提高了流处理速度。

技术领域

本申请涉及流处理系统技术领域，特别是涉及一种流处理系统的数据读写方法和流处理系统。

背景技术

流处理系统是现代大数据系统中重要的一个环节，负责数据的存储和计算，例如Kafka，Pulsar等。

流处理系统由存储和计算两部分组成，生产者将数据源源不断的推送到流处理系统，流处理系统内部会有对应的计算任务持续地对数据进行处理，将结果输出到指定的外部系统，用于汇总展示。

在当前的流处理系统方案中，Broker接收到写入数据的请求会直接把数据写入到操作系统页缓存(Page Cache)，等待OS的定时刷盘动作来写磁盘，当收到读取数据的请求时先从操作系统页缓存中找如果没有被淘汰会直接返回，避免了读取磁盘的动作；如果操作系统页缓存中没有需要读取磁盘，集群Broker之间副本同步也走的相同的逻辑，在实际生产环节中会遇到消费滞后的情况，当消费者请求到来，消费的是很早之前的数据(不在操作系统页缓存中)此时会触发磁盘的读取动作，并主动淘汰掉操作系统页缓存中的一些数据。此外，由于操作系统页缓存由OS的管理，而OS的行为却不受Broker的控制；并且当操作系统页缓存的缓存压力较大时，OS中除Broker之外的其他进程会导致内存竞争加剧，或操作系统页缓存中的流数据被其他进程的数据污染，增加了磁盘读取的次数，严重影响流处理速度。

为了解决上面的问题，当前的云原生环境基于Kubernetes的部署方案，为了确保流处理系统性能会让Broker独占一台物理机，即Broker基本上独占操作系统页缓存，避免与其他进程竞争内存，但这样会提高基础建设的硬件成本。

针对相关技术中流处理速度慢的问题，目前还没有提出有效的解决方案。

发明内容

在本实施例中提供了一种流处理系统的数据读写方法、流处理系统，在基于Kubernetes的部署方案中，以解决相关技术中存在的流处理速度慢的问题。

第一个方面，在本实施例中提供了一种流处理系统的数据读写方法，包括：

流处理系统的Broker接收读写数据请求；

响应于所述读写数据请求，所述Broker通过读写缓存进行数据的读写操作，其中，所述读写缓存是由所述Broker从堆外内存中申请的预设内存空间。

在其中的一些实施例中，在所述Broker接收到读数据请求时，所述Broker查询所述读写缓存是否存在第一数据，其中，所述第一数据为所述读数据请求所请求读取的数据；

若有，所述Broker从所述读写缓存读取所述第一数据；

否则，所述Broker从磁盘读取所述第一数据。

在其中的一些实施例中，所述Broker从磁盘读取所述第一数据包括：

在所述第一数据为所述冷数据时，所述Broker通过操作系统页缓存将所述第一数据从HDD写入所述读写缓存，在所述第一数据为所述热点数据时，所述Broker将所述第一数据从所述SSD写入所述读写缓存；

所述Broker从所述读写缓存读取所述第一数据。

在其中的一些实施例中，

在所述Broker接收到写数据请求时，所述Broker将第二数据写入所述读写缓存，其中，所述第二数据为所述写数据请求所请求写入的数据。