[发明专利]数据处理方法、装置、系统及存储介质有效
| 申请号: | 201811240090.6 | 申请日: | 2018-10-23 |
| 公开(公告)号: | CN109522299B | 公开(公告)日: | 2020-12-18 |
| 发明(设计)人: | 丁鹏云;沈军栋 | 申请(专利权)人: | 咪咕数字传媒有限公司;咪咕文化科技有限公司 |
| 主分类号: | G06F16/215 | 分类号: | G06F16/215;G06F16/2455;G06F9/50 |
| 代理公司: | 北京派特恩知识产权代理有限公司 11270 | 代理人: | 张振伟;张颖玲 |
| 地址: | 310006 浙江*** | 国省代码: | 浙江;33 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 数据处理 方法 装置 系统 存储 介质 | ||
1.一种数据处理方法,其特征在于,包括:
对各业务数据中的key值数据进行至少两次不同的空间映射转换,并在空间映射转换后对结果取余,以得到各空间映射转换结果;通过融合各key值数据分别对应的各空间映射转换结果,得到各key值数据的空间坐标值;
根据预设时长内各key值数据的空间坐标值出现次数的统计结果获取热点坐标集,其中,所述热点坐标集包括统计结果中次数大小靠前的预设数量个空间坐标值;
确定空间坐标值属于所述热点坐标集的业务数据为热点数据。
2.如权利要求1所述的数据处理方法,其特征在于,所述对各业务数据中的key值数据进行至少两次不同的空间映射转换,并在空间映射转换后对结果取余,以得到各空间映射转换结果,包括:
对所述key值数据分别经第一、第二、第三空间映射函数做哈希运算,得到三个第一整型数据;
将所述三个第一整型数据分别与所述预设数量取余,得到三个第二整型数据;
所述通过融合各key值数据分别对应的各空间映射转换结果,得到各key值数据的空间坐标值,包括:
将所述三个第二整型数据填充至一第三整型数据的预设数位,所述第三整型数据用于表征所述key值数据的空间坐标值。
3.如权利要求1所述的数据处理方法,其特征在于,所述根据预设时长内各key值数据的空间坐标值出现次数的统计结果获取热点坐标集,包括:
接收监控系统发送的热点坐标集;
其中,所述监控系统用于以所述预设时长为间隔周期性发送所述热点坐标集。
4.如权利要求1所述的数据处理方法,其特征在于,所述对各业务数据中的key值数据进行至少两次不同的空间映射转换之前,还包括:
对业务数据中的key值数据按照预设规则进行数据清洗,将清洗后的key值数据作为待转换的对象。
5.如权利要求1所述的数据处理方法,其特征在于,所述确定空间坐标值属于所述热点坐标集的业务数据为热点数据,包括:
检测是否接收到扩容请求,接收到所述扩容请求时,确定空间坐标值属于所述热点坐标集的业务数据为热点数据。
6.如权利要求1所述的数据处理方法,其特征在于,所述确定空间坐标值属于所述热点坐标集的业务数据为热点数据之后,还包括:
对热点数据对应的访问请求进行标识,并发送携带标识的访问请求给缓存代理网关,所述携带标识的访问请求用于缓存代理网关在扩容存储节点确定应复制的数据。
7.一种数据处理装置,其特征在于,包括:
转换模块,用于对各业务数据中的key值数据进行至少两次不同的空间映射转换,并在空间映射转换后对结果取余,以得到各空间映射转换结果;通过融合各key值数据分别对应的各空间映射转换结果,得到各key值数据的空间坐标值;
获取模块,用于根据预设时长内各key值数据的空间坐标值出现次数的统计结果获取热点坐标集,其中,所述热点坐标集包括统计结果中次数大小靠前的预设数量个空间坐标值;
确定模块,用于确定空间坐标值属于所述热点坐标集的业务数据为热点数据。
8.如权利要求7所述的数据处理装置,其特征在于,还包括:
请求模块,用于对识别的热点数据对应的访问请求进行标识,并发送携带标识的访问请求给缓存代理网关,所述携带标识的访问请求用于缓存代理网关在扩容存储节点确定应复制的数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于咪咕数字传媒有限公司;咪咕文化科技有限公司,未经咪咕数字传媒有限公司;咪咕文化科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811240090.6/1.html,转载请声明来源钻瓜专利网。
- 上一篇:用于CIM的数据清洗方法
- 下一篇:有效数据筛选装置





