[发明专利]一种数据管理方法及系统、数据分析装置

说明书

技术领域

本发明涉及一种数据管理技术，尤其涉及一种数据管理方法及系统、数据分析装置。

背景技术

随着我国电信行业的高速发展，特别是移动通信用户和宽带用户的不断增长，各家电信运营商存储和管理着各种各样的海量的数据。数据生命周期管理是解决海量数据管理的有效途径。

由于传统的数据生命周期管理在定义数据生命时仅仅依据时间维度，具体的，就是将数据的生命周期管理简单的按照时间先后来进行，诸如账单、详单、交易记录等具有时间标签的对象，按照时间先后分别进行备份、归档、历史数据迁移等具体操作。

现有的按照时间维度实现数据生命周期管理的方法存在以下缺陷：

1、适用性差

按照时间维度对数据进行管理的前提是数据具备如账单、交易纪律等有时间标签，对于那些本身无时间标签的数据，就无法按照传统方法进行生命周期管理。

对于这些自身无时间标签的数据目前没有办法进行处理，只能像堆柴火一样存储在线存储中，日积月累的简单堆放，即占用了宝贵的在线高端存储资源，同时对于数据管理软件，如数据库等的日常运行造成很大的压力。这些随意存放的数据没有人能说清楚到底是否在用、到底能不能进行备份、归档和删除的维护操作。

2、系统处理响应时间长，速度慢

按照时间维度进行了生命周期管理的数据何时要被再次使用到或者何时需要在线访问都是不可知的。系统所需调用的数据可能存储在不同级别的存储资源上，系统调用数据速度慢，花费的响应时间较长。

3、需要大量高端存储设备，成本高

为了降低系统的处理响应时间，需要将大量的数据存储到在线高端存储设备上，对在线高端存储设备的存储空间要求较大，使得管理海量数据的成本大大增加。

发明内容

本发明的目的在于，提供一种数据管理方法及系统、数据分析装置，准确发现系统中使用频率较高的热点数据。

为实现上述目的，根据本发明的一个方面，提供一种数据管理方法，包括：采集应用程序执行过的SQL语句，并进行持久化存储；分解所述SQL语句，得到所述SQL语句的访问对象；记录在预设时间内各个访问对象的被访问次数；根据被访问次数阈值提取相应的访问对象作为热点数据。

另外，所述分解所述SQL语句后还包括：

存储分解得到的所述SQL语句的各要素，包括：Dbname、快照序号、语句类型和访问对象。

优选地，该方法还包括：根据预设的多个访问次数阈值将所述访问对象划分为五档：很热、热、温、凉、冷。

更优地，该方法还包括：根据访问对象的被访问次数形成数据使用温度图谱，数据使用温度图谱中利用不同颜色或颜色的深浅体现访问对象的被访问次数的区别。

更优地，该方法还包括：记录所述访问对象的被访问时间、被访问次数及对象名称；计算每个周期内所述访问对象的平均被访问次数；根据所述每个周期内访问对象的平均被访问次数，预测未来周期内热点数据出现的位置。

该方法还包括分别对不同档的访问对象进行相应的处理，包括：对于很热的访问对象，存储到固态硬盘或者cache在内存中；对于热的访问对象，进行在线高端存储；对于温的访问对象，进行在线中低端存储；对于凉的访问对象，进行数据归档；对于冷的访问对象，迁移历史库或离线存放。

在所述分解存储的SQL语句的操作之前还包括：对所述SQL语句进行错误语句过滤。

为实现上述目的，根据本发明的另一个方面，提供一种数据分析装置，包括：分解模块，用于分解SQL语句，得到所述SQL语句的访问对象；记录模块，用于记录在预设时间内各个访问对象的被访问次数；提取模块，用于根据被访问次数阈值提取相应的访问对象作为热点数据。

另外，该装置还包括：划分模块，用于根据预设的多个访问次数阈值将所述访问对象划分为五档：很热、热、温、凉、冷。

优选地，该装置还包括：图谱生成模块，用于根据访问对象的被访问次数形成数据使用温度图谱，数据使用温度图谱中利用不同颜色或颜色的深浅体现访问对象的被访问次数的区别。

更优地，该装置还包括：计算模块和预测模块，其中，所述记录模块，记录各个访问对象的被访问时间、被访问次数及对象名称；所述计算模块，用于计算每个周期内所述访问对象的平均被访问次数；所述预测模块，用于根据所述每个周期内访问对象的平均被访问次数，预测未来周期内热点数据出现的位置。

更优地，该装置还包括：过滤模块，用于在分解SQL语句之前，对所述SQL语句进行错误语句过滤。