[发明专利]一种热点数据识别方法及装置

说明书

技术领域

本发明涉及存储领域，尤其涉及一种热点数据识别方法及装置。 

背景技术

在计算机的使用过程中会产生大量数据，这些数据都需要被存储在磁盘上以备其他业务使用，许多业务在访问存储系统时，对随机IO并发性都有很高的要求。为满足业务应用的要求，提高存储系统的每秒钟处理IO请求(I/Oper second，IOPS)的能力，引入了热点数据迁移、二级缓存等新技术，而这些技术都依赖于热点数据识别技术。 

现有的热点数据识别技术主要包括，将存储区域划分为若干数据块，对所有数据块做精细化统计，统计若干块被访问的次数，根据被访问的次数计算被访问的频率，再根据块的被访问的频率判断其是否是热点数据区域。例如，以块的大小为32M为例，一个存储空间为2T的存储区域具有2T/32M＝64K个块，如果一个存储阵列同时存在2K个这样的存储区域，那么这个存储阵列的存储空间为2T*2K＝4P字节，假设块的管理单元是64字节，那么管理4P存储空间需要的统计信息空间为2K*64K*64＝8G字节。这些统计信息是存放在高速介质上的，只有最近被访问的数据库的统计信息才会调入内存中，所以对统计信息而言就需要支持换入换出机制。可见，现有的热点数据识别技术较难利用有限的内存空间完成对热点数据的识别，统计信息必须采用换入换出方式实现数据的统计，降低了热点数据识别的效率。 

发明内容

本发明实施例提供了一种热点数据识别方法及装置，可以利用有限的内存空间完成对热点数据的识别。 

本发明实施例提供的热点数据识别方法，包括：根据预置的在内存中创建的第一统计表，获得当前周期内存储区域中的一级颗粒的周期访问频率加权平均值，所述第一统计表用于存储所述一级颗粒的信息； 

当所述一级颗粒的周期访问频率加权平均值达到第一阈值时，将所述一级颗粒确定为热一级颗粒； 

将所述热一级颗粒划分为二级颗粒； 

在内存中创建第二统计表，所述第二统计表用于存储所述二级颗粒的信息； 

根据所述第二统计表，获得下一个周期内所述二级颗粒的周期访问频率加权平均值； 

当所述二级颗粒的周期访问频率加权平均值达到第二阈值时，将所述二级颗粒确定为热点数据区域，所述热点数据区域中的数据为热点数据。 

本发明实施例提供的热点数据识别装置，包括： 

第一计算模块，用于根据预置的在内存中创建的第一统计表，获得当前周期内存储区域中的一级颗粒的周期访问频率加权平均值，所述第一统计表用于存储所述一级颗粒的信息； 

第一确定模块，用于当所述一级颗粒的周期访问频率加权平均值达到第一阈值时，将所述一级颗粒确定为热一级颗粒； 

第二划分模块，用于将所述热一级颗粒划分为二级颗粒； 

第二创建模块，用于在内存中创建第二统计表，所述第二统计表用于存储所述二级颗粒的信息； 

第二计算模块，用于根据所述第二统计表，获得下一个周期内所述二级颗粒的周期访问频率加权平均值； 

第二确定模块，用于当所述二级颗粒的周期访问频率加权平均值达到第二阈值时，将所述二级颗粒确定为热点数据区域，所述热点数据区域中的数据为热点数据。 

从以上技术方案可以看出，本发明实施例具有以下优点： 

本发明实施例不需要对所有数据块都做精细化的统计，采用分级的方法识别热点数据，动态创建二级颗粒，根据与二级颗粒对应的第二统计表，计算该二级颗粒的周期访问频率加权平均值，当该二级颗粒的周期访问频率加权平均值达到第二阈值时，将该二级颗粒确定为热点数据区域，由于只有被确定为热一级颗粒的一级颗粒才被划分为二级颗粒，而不属于热一级颗粒的一级颗粒则不会被划分为二级颗粒，相应的不属于热一级颗粒的一级颗粒则不需要在内存中建立二级统计表进行管理，而一级颗粒不属于精细化的划分，所以其统计表占用内存的资源较少，并且二级统计表是动态建立的，所以本 发明实施例可以利用有限的内存空间完成对热点数据的识别。 

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。 

图1为本发明实施例中数据访问方法一个实施例示意图； 

图2为本发明实施例中数据访问方法另一实施例示意图；