[发明专利]一种数据管理方法及系统、数据分析装置有效
申请号: | 201110344089.X | 申请日: | 2011-11-03 |
公开(公告)号: | CN103092867B | 公开(公告)日: | 2017-02-01 |
发明(设计)人: | 李吉元 | 申请(专利权)人: | 中国移动通信集团甘肃有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京中誉威圣知识产权代理有限公司11279 | 代理人: | 郭振兴,张杏珍 |
地址: | 730070 甘肃*** | 国省代码: | 甘肃;62 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据管理 方法 系统 数据 分析 装置 | ||
1.一种数据管理方法,其特征在于,包括:
采集应用程序执行过的SQL语句,并进行持久化存储;
分解所述SQL语句,得到所述SQL语句的访问对象;
记录在预设时间内各个访问对象的被访问次数;
根据被访问次数阈值提取相应的访问对象作为热点数据。
2.根据权利要求1所述的数据管理方法,其特征在于,所述分解所述SQL语句后还包括:
存储分解得到的所述SQL语句的各要素,至少包括:Dbname、快照序号、语句类型和访问对象。
3.根据权利要求1所述的数据管理方法,其特征在于,还包括:
根据预设的多个访问次数阈值将所述访问对象划分为五档:很热、热、温、凉、冷。
4.根据权利要求3所述的数据管理方法,其特征在于,还包括:
根据访问对象的被访问次数形成数据使用温度图谱,数据使用温度图谱中利用不同颜色或颜色的深浅体现访问对象的被访问次数的区别。
5.根据权利要求1至4中任意一项所述的数据管理方法,其特征在于,还包括:
记录所述访问对象的被访问时间、被访问次数及对象名称;
计算每个周期内所述访问对象的平均被访问次数;
根据所述每个周期内访问对象的平均被访问次数,预测未来周期内热点数据出现的位置。
6.根据权利要求3所述的数据管理方法,其特征在于,还包括:分别对不同档的访问对象进行相应的处理,包括:
对于很热的访问对象,存储到固态硬盘或者cache在内存中;
对于热的访问对象,进行在线高端存储;
对于温的访问对象,进行在线中低端存储;
对于凉的访问对象,进行数据归档;
对于冷的访问对象,迁移历史库或离线存放。
7.根据权利要求3所述的数据管理方法,其特征在于,所述分解存储的SQL语句的操作之前还包括:
对所述SQL语句进行错误语句过滤。
8.一种数据分析装置,其特征在于,包括:
分解模块,用于分解SQL语句,得到所述SQL语句的访问对象;
记录模块,用于记录在预设时间内各个访问对象的被访问次数;
提取模块,用于根据被访问次数阈值提取相应的访问对象作为热点数据。
9.根据权利要求8所述的数据分析装置,其特征在于,还包括:
划分模块,用于根据预设的多个访问次数阈值将所述访问对象划分为五档:很热、热、温、凉、冷。
10.根据权利要求9所述的数据分析装置,其特征在于,还包括:图谱生成模块,用于根据访问对象的被访问次数形成数据使用温度图谱,数据使用温度图谱中利用不同颜色或颜色的深浅体现访问对象的被访问次数的区别。
11.根据权利要求8至10中任意一项所述的数据分析装置,其特征在于,还包括:计算模块和预测模块,其中,
所述记录模块,记录各个访问对象的被访问时间、被访问次数及对象名称;
所述计算模块,用于计算每个周期内所述访问对象的平均被访问次数;
所述预测模块,用于根据所述每个周期内访问对象的平均被访问次数,预测未来周期内热点数据出现的位置。
12.根据权利要求8至10中任意一项所述的数据分析装置,其特征在于,还包括:过滤模块,用于在分解SQL语句之前,对所述SQL语句进行错误语句过滤。
13.一种数据管理系统,其特征在于,包括:
采集装置,用于采集应用程序执行过的SQL语句;
持久化存储装置,用于对所述SQL语句进行持久化存储;
数据分析装置,用于分解所述SQL语句,得到所述SQL语句的访问对象;记录在预设时间内各个访问对象的被访问次数;根据被访问次数阈值提取相应的访问对象作为热点数据。
14.根据权利要求13所述的数据管理系统,其特征在于,还包括:数据处理装置,
所述数据分析装置,进一步根据预设的多个访问次数阈值将所述访问对象划分为五档:很热、热、温、凉、冷;
所述数据处理装置,分别对不同档的访问对象进行相应的处理:对于很热的访问对象,存储到固态硬盘或者cache在内存中;对于热的访问对象,进行在线高端存储;对于温的访问对象,进行在线中低端存储;对于凉的访问对象,进行数据归档;对于冷的访问对象,迁移历史库或离线存放。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国移动通信集团甘肃有限公司,未经中国移动通信集团甘肃有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201110344089.X/1.html,转载请声明来源钻瓜专利网。
- 上一篇:风电增速机锁紧盘安装拆卸装置
- 下一篇:客车转向架钢衬套退卸工装
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置