[发明专利]一种数据处理的方法及系统有效
申请号: | 201811337593.5 | 申请日: | 2018-11-12 |
公开(公告)号: | CN110737727B | 公开(公告)日: | 2023-09-29 |
发明(设计)人: | 单卫华;殷晖 | 申请(专利权)人: | 华为云计算技术有限公司 |
主分类号: | G06F16/28 | 分类号: | G06F16/28;G06F16/245;G06Q40/04 |
代理公司: | 北京同达信恒知识产权代理有限公司 11291 | 代理人: | 李欣 |
地址: | 550025 贵州省贵阳市*** | 国省代码: | 贵州;52 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据处理 方法 系统 | ||
1.一种数据库中的数据处理的方法,其特征在于,所述方法包括:
获取数据库中至少一条数据,每条数据包括至少一个属性;其中,所述数据库中设置有数据渠,所述数据渠的数据范围随时间发生或进入所述数据库的数据量变化;所述数据渠包括M个聚合层,每个聚合层对应一个聚合间隔;
根据M个聚合间隔,分别对所述至少一条数据的第一目标属性的属性值进行聚合计算得到T个数据簇,其中,所述M个聚合间隔各不相同,每个数据簇包括聚合值,每个数据簇的聚合值为根据本数据簇所对应的聚合间隔针对所述第一目标属性的属性值聚合计算得到,所述M为大于等于2的整数,T≥M;所述至少一条数据的第二目标属性的属性值属于所述数据渠的数据范围;
存储所述T个数据簇;
其中,所述获取至少一条数据包括:
接收数据流中的第N条数据,N为大于等于1的整数;
所述根据M个聚合间隔,分别对所述至少一条数据的第一目标属性的属性值进行聚合计算得到T个数据簇,包括:
根据所述第N条数据的第一目标属性的属性值,确定所述第N条数据在所述M个聚合层中分别对应的M个数据簇;
如果所述数据库中已经生成所述第N条数据在第m个聚合层对应的数据簇,则根据所述第N条数据的第一目标属性的属性值对所述已经生成的数据簇的聚合值进行刷新,m为变量且取值范围为1≤m≤M;
如果所述数据库中未生成所述第N条数据在第m个聚合层对应的数据簇,对所述第N条数据的第一目标属性的属性值进行聚合计算生成数据簇。
2.根据权利要求1所述的方法,其特征在于,还包括:预先设置M个聚合层,每个聚合层对应一个聚合间隔,所述M个聚合间隔的任意两个相邻的聚合间隔具有父子关系,父聚合间隔为子聚合间隔的整数倍。
3.根据权利要求1或2所述的方法,其特征在于,所述获取至少一条数据包括:
获取所述数据库中存储的至少一条数据;
所述根据M个聚合间隔,分别对所述至少一条数据的第一目标属性的属性值进行聚合计算得到T个的数据簇,包括:
根据第m个聚合间隔,对所述至少一条数据的第一目标属性的属性值进行聚合计算得到第m个聚合层,所述第m个聚合层包括至少一个数据簇,m为变量且取值范围为1≤m≤M。
4.根据权利要求2所述的方法,其特征在于,所述方法还包括:
接收查询请求,所述查询请求包含查询范围;
根据所述查询范围,在所述M个聚合层中查询得到至少两个数据簇,其中,所述查询得到的至少两个数据簇归属于不同的聚合层,所述查询得到的每个数据簇的数据范围与所述查询范围存在交集,所述查询得到的全部数据簇的数据范围的并集与所述查询范围相同;
对所述查询得到的至少两个数据簇包括的聚合值进行聚合计算,得到查询结果。
5.根据权利要求4所述的方法,其特征在于,所述根据所述查询范围,在所述M个聚合层中查询得到至少两个数据簇,具体包括:
根据所述查询范围,从第一聚合层递减逐层匹配获得每个聚合层上与所述查询范围匹配的数据簇,其中,所述第一聚合层为聚合间隔最大的聚合层。
6.根据权利要求2、4、5中任一项所述的方法,其特征在于,每个聚合层还包括每个聚合层的聚合算法。
7.根据权利要求2、4、5中任一项所述的方法,其特征在于,每个聚合层还包括数据簇列表,每个聚合层的数据簇列表用于存储本聚合层所包含的数据簇;
所述根据M个聚合间隔,分别对所述至少一条数据的第一目标属性的属性值进行聚合计算得到T个数据簇之后,所述方法还包括:
更新每个数据簇所属的聚合层的数据簇列表。
8.根据权利要求2、4、5中任一项所述的方法,其特征在于,所述方法还包括:
确定每个数据簇的索引序号,其中,每个数据簇的索引序号用于表示当前数据簇在其所归属的聚合层中的排序;
分别存储每个数据簇的索引序号。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华为云计算技术有限公司,未经华为云计算技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811337593.5/1.html,转载请声明来源钻瓜专利网。