[发明专利]数据处理的方法和装置有效
申请号: | 201710859257.6 | 申请日: | 2017-09-21 |
公开(公告)号: | CN107729399B | 公开(公告)日: | 2020-06-05 |
发明(设计)人: | 李树前;朱德伟 | 申请(专利权)人: | 北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司 |
主分类号: | G06F16/22 | 分类号: | G06F16/22 |
代理公司: | 中原信达知识产权代理有限责任公司 11219 | 代理人: | 张一军;姜劲 |
地址: | 100195 北京市海淀区杏石口路6*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 | ||
1.一种数据处理的方法,其特征在于,包括:
获取待处理的数据集,确定所述数据集具有的维度组合;
基于所述维度组合对所述数据集进行处理得到对应的维度表集合;其中,在所述维度表集合中,每个维度表对应一种所述维度组合;并且基于所述维度表集合能够进行多维度查询;
其中,基于所述维度组合对所述数据集进行处理得到对应的维度表集合包括:
对原始数据采用立体算法进行处理以得到与所述维度组合对应的至少一组预计算数据;
对各组所述预计算数据进行排序后分别存储于时间数据表,并在各所述时间数据表中记录所述预计算数据的时间戳;
删除各所述时间数据表中的重复数据得到所述维度表集合。
2.根据权利要求1所述的方法,其特征在于,对所述数据集进行处理得到对应的维度表集合还包括:
获取新数据的时间戳;
当所述时间数据表中不存在所述新数据或所述新数据的时间戳大于所述时间数据表中所述新数据的时间戳时,对所述新数据采用所述立体算法进行处理以得到与所述维度组合对应的至少一组所述预计算数据;
将各组所述预计算数据分别添加至对应的所述时间数据表,并在所述时间数据表中记录所述预计算数据的时间戳;以及
将所述预计算数据更新至所述维度表集合。
3.根据权利要求1或2所述的方法,其特征在于,
所述时间数据表包括同一主键的多条数据,且所述时间数据表的主键是表中数据的一种数据维度组合及所述预计算数据的时间戳。
4.根据权利要求1或2所述的方法,其特征在于,所述立体算法包括:
基于所述数据集的所述维度组合对所述数据集进行映射-归纳处理得到与所述维度组合对应的至少一组所述预计算数据。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在进行查询时,获取查询条件中的待查询维度组合;
确定所述维度表集合中与所述待查询维度组合对应的所述维度表;
基于查询条件查询与所述待查询维度组合对应的所述维度表,以得到查询结果。
6.一种数据处理的装置,其特征在于,包括:
获取模块,用于获取待处理的数据集,确定所述数据集具有的维度组合;
处理模块,用于基于所述维度组合对所述数据集进行处理得到对应的维度表集合;其中,在所述维度表集合中,每个维度表对应一种所述维度组合;并且基于所述维度表集合能够进行多维度查询;
其中,所述处理模块还用于:
对原始数据采用立体算法进行处理以得到与所述维度组合对应的至少一组预计算数据;
对各组所述预计算数据进行排序后分别存储于时间数据表,并在各所述时间数据表中记录所述预计算数据的时间戳;
删除各所述时间数据表中的重复数据得到所述维度表集合。
7.根据权利要求6所述的装置,其特征在于,所述处理模块进一步用于:
获取新数据的时间戳;
当所述时间数据表中不存在所述新数据或所述新数据的时间戳大于所述时间数据表中所述新数据的时间戳时,对所述新数据采用所述立体算法进行处理以得到与所述维度组合对应的至少一组所述预计算数据;
将各组所述预计算数据分别添加至对应的所述时间数据表,并在所述时间数据表中记录所述预计算数据的时间戳;以及
将所述预计算数据更新至所述维度表集合。
8.根据权利要求6所述的装置,其特征在于,所述装置还包括:
条件模块,用于在进行查询时,获取查询条件中的待查询维度组合;
确定模块,用于确定所述维度表集合中与所述待查询维度组合对应的所述维度表;
查询模块,用于基于查询条件查询与所述待查询维度组合对应的所述维度表,以得到查询结果。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司,未经北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710859257.6/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种图像中屋脊型边缘的快速检测方法
- 下一篇:一种基于图像的围棋棋谱识别方法