[发明专利]流处理系统中访问窗口数据的方法和装置

说明书

本发明公开了一种流处理系统中访问窗口数据的方法和装置，该方法包括：接收客户端发送的窗口数据的访问请求，该访问请求携带窗口指示信息，该窗口指示信息指示存储该窗口数据的分布式滑动窗口；根据该窗口指示信息，确定该窗口数据在该分布式滑动窗口中的分布式数据结构，该分布式数据结构包括多个数据结构分片；根据该多个数据结构分片中的每个数据结构分片的特征标识，确定存储该每个数据结构分片的主机信息；根据存储该每个数据结构分片的主机信息，访问该每个数据结构分片。本发明实施例的流处理系统中访问窗口数据的方法和装置，能够实现窗口数据的分布式存储，突破了单机内存容量有限的瓶颈问题，同时提高了窗口数据的可靠性。

技术领域

本发明涉及信息技术领域，并且更具体地，涉及一种流处理系统中访问窗口数据的方法和装置。

背景技术

滑动窗口是流处理领域的基本概念，滑动窗口是用于缓存数据流的一定时间长度历史数据的容器，现有技术中滑动窗口是在单主机内存中实现的，我们简称这种实现于单机的滑动窗口为单机滑动窗口，对于单机滑动窗口，窗口数据存储于任务(task)上下文；task故障、执行单元(Executor)故障、进程故障、主机故障都将导致窗口数据丢失，且无法恢复，也就是窗口数据的可靠性无法保障；对于海量数据处理、特别是依赖于海量历史数据进行计算的场景，单机滑动窗口也无法满足要求，因此单机滑动窗口的总容量受限于单机内存容量，因此需要一种能够解决上述问题的在流处理系统中访问窗口数据的方法。

发明内容

本发明实施例提供一种流处理系统中访问窗口数据的方法和装置，能够实现对窗口数据的分布式存储，因此突破了单机内存容量有限的瓶颈问题。

第一方面，提供了一种流处理系统中访问窗口数据的方法，所述方法包括：接收客户端发送的窗口数据的访问请求，所述访问请求携带窗口指示信息，所述窗口指示信息指示存储所述窗口数据的分布式滑动窗口；根据所述窗口指示信息，确定所述窗口数据在所述分布式滑动窗口中的分布式数据结构，所述分布式数据结构包括多个数据结构分片，所述多个数据结构分片位于至少两个主机上；根据所述多个数据结构分片中的每个数据结构分片的特征标识，获取存储所述每个数据结构分片的第一内存分区信息；根据所述第一内存分区信息，确定存储所述每个数据结构分片的主机信息；根据存储所述每个数据结构分片的主机信息，访问所述每个数据结构分片。

结合第一方面，在第一方面的第一种实现方式中，所述分布式数据结构包括所述多个数据结构分片和所述多个数据结构分片的副本，所述多个数据结构分片中的每个数据结构分片和所述每个数据结构分片的副本位于不同主机上，所述方法还包括：根据所述每个数据结构分片的特征标识，获取存储所述每个数据结构分片的副本的第二内存分区信息；根据所述第二内存分区信息，确定存储所述每个数据结构分片的副本的主机信息；根据存储所述每个数据结构分片的副本的主机信息，访问所述每个数据结构分片。

结合第一方面及其上述实现方式，在第一方面的第二种实现方式中，所述窗口指示信息为所述分布式滑动窗口的窗口名称，所述根据所述窗口指示信息，确定所述窗口数据在所述分布式滑动窗口中的分布式数据结构，包括：根据所述窗口名称，确定所述分布式滑动窗口的窗口数据在所述分布式滑动窗口中的所述分布式数据结构。

结合第一方面及其上述实现方式，在第一方面的第三种实现方式中，所述窗口指示信息为所述分布式滑动窗口中的子窗口的子窗口名称，所述根据所述窗口指示信息，确定所述窗口数据在所述分布式滑动窗口中的分布式数据结构，包括：根据所述子窗口名称，确定所述子窗口的窗口数据在所述分布式滑动窗口中的所述分布式数据结构。

结合第一方面及其上述实现方式，在第一方面的第四种实现方式中，所述第一内存分区信息为第一内存分区标识，所述根据所述第一内存分区信息，确定存储所述每个数据结构分片的主机信息，包括：根据所述第一内存分区标识以及内存分区表，获取存储所述每个数据结构分片的主机信息，所述内存分区表表征内存分区标识，与所述每个数据结构分片的副本编号，以及所述内存分区标识对应的内存分区所在的主机编号的对应关系。