[发明专利]流处理系统中访问窗口数据的方法和装置有效
| 申请号: | 201510783099.1 | 申请日: | 2015-11-16 |
| 公开(公告)号: | CN106708865B | 公开(公告)日: | 2020-04-03 |
| 发明(设计)人: | 单卫华;杨磊 | 申请(专利权)人: | 杭州华为数字技术有限公司 |
| 主分类号: | G06F16/2455 | 分类号: | G06F16/2455;G06F16/2458;G06F16/22 |
| 代理公司: | 北京龙双利达知识产权代理有限公司 11329 | 代理人: | 毛威;孙涛 |
| 地址: | 310052 浙江省杭州*** | 国省代码: | 浙江;33 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 处理 系统 访问 窗口 数据 方法 装置 | ||
1.一种流处理系统中访问窗口数据的方法,其特征在于,所述方法包括:
接收客户端发送的窗口数据的访问请求,所述访问请求携带窗口指示信息,所述窗口指示信息指示存储所述窗口数据的分布式滑动窗口;
根据所述窗口指示信息,确定所述窗口数据在所述分布式滑动窗口中的分布式数据结构,所述分布式数据结构包括多个数据结构分片,所述多个数据结构分片位于至少两个主机上;
根据所述多个数据结构分片中的每个数据结构分片的特征标识,获取存储所述每个数据结构分片的第一内存分区信息;
根据所述第一内存分区信息,确定存储所述每个数据结构分片的主机信息;
根据存储所述每个数据结构分片的主机信息,访问所述每个数据结构分片。
2.根据权利要求1所述的方法,其特征在于,所述分布式数据结构包括所述多个数据结构分片和所述多个数据结构分片的副本,所述多个数据结构分片中的每个数据结构分片和所述每个数据结构分片的副本位于不同主机上,所述方法还包括:
根据所述每个数据结构分片的特征标识,获取存储所述每个数据结构分片的副本的第二内存分区信息;
根据所述第二内存分区信息,确定存储所述每个数据结构分片的副本的主机信息;
根据存储所述每个数据结构分片的副本的主机信息,访问所述每个数据结构分片。
3.根据权利要求2所述的方法,其特征在于,所述窗口指示信息为所述分布式滑动窗口的窗口名称,所述根据所述窗口指示信息,确定所述窗口数据在所述分布式滑动窗口中的分布式数据结构,包括:
根据所述窗口名称,确定所述分布式滑动窗口的窗口数据在所述分布式滑动窗口中的所述分布式数据结构。
4.根据权利要求2所述的方法,其特征在于,所述窗口指示信息为所述分布式滑动窗口中的子窗口的子窗口名称,所述根据所述窗口指示信息,确定所述窗口数据在所述分布式滑动窗口中的分布式数据结构,包括:
根据所述子窗口名称,确定所述子窗口的窗口数据在所述分布式滑动窗口中的所述分布式数据结构。
5.根据权利要求2至4中任一项所述的方法,其特征在于,所述第一内存分区信息为第一内存分区标识,所述根据所述第一内存分区信息,确定存储所述每个数据结构分片的主机信息,包括:
根据所述第一内存分区标识以及内存分区表,获取存储所述每个数据结构分片的主机信息,所述内存分区表表征内存分区标识,与所述每个数据结构分片的副本编号,以及所述内存分区标识对应的内存分区所在的主机编号的对应关系。
6.根据权利要求2至4中任一项所述的方法,其特征在于,所述第二内存分区信息为第二内存分区标识,所述根据所述第二内存分区信息,确定存储所述每个数据结构分片的副本的主机信息,包括:
根据所述第二内存分区标识以及内存分区表,获取存储所述每个数据结构分片的副本的主机信息,所述内存分区表表征内存分区标识,与所述每个数据结构分片的副本编号,以及所述内存分区标识对应的内存分区所在的主机编号的对应关系。
7.根据权利要求1至4中任一项所述的方法,其特征在于,所述第一内存分区信息为第一内存分区标识,所述根据所述多个数据结构分片中的每个数据结构分片的特征标识,获取存储所述每个数据结构分片的第一内存分区信息,包括:
将所述每个数据结构分片的特征标识转换为二进制数据;
利用散列算法对所述二进制数据进行计算得到散列结果;
将所述散列结果对预设值取模后得到的结果,确定为所述每个数据结构分片的第一内存分区标识。
8.根据权利要求1至4中任一项所述的方法,其特征在于,所述窗口数据的数据结构为以下中的一种:
分布式的列表结构、分布式的字典结构、分布式的集合结构。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州华为数字技术有限公司,未经杭州华为数字技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201510783099.1/1.html,转载请声明来源钻瓜专利网。





