[发明专利]热点数据迁移流控方法、装置、电子设备及存储介质

权利要求书

1.一种热点数据迁移流控方法，其特征在于，所述方法包括：

每隔预设时间段记录用户访问的数据集；

将所述数据集划分为多个数据块；

判断所述多个数据块中是否有数据块为热点数据；

当确定有数据块为热点数据时，判断被确定为热点数据的数据块是否写入缓存中；

当判断被确定为热点数据的数据块没有写入缓存中时，获取迁移周期内的当前统计周期对应的流控阈值，包括：当确定所述当前统计周期不为第一个统计周期时，获取上一个统计周期内用户应用的每一个IO的数据块大小，计算所述上一个统计周期内的IO的平均数据块大小；获取所述上一个统计周期内的每个数据块的传输时延，计算所述上一个统计周期内的IO的平均数据块时延；获取预先设置的IO的数据块大小的基准值及对应的数据块时延的基准值；根据所述上一个统计周期内的所述IO的平均数据块大小、平均数据块时延、数据块大小的基准值、对应的数据块时延的基准值，计算所述上一个统计周期内的IO负载强度；根据所述上一个统计周期内的IO负载强度，利用预先训练好的负载分类模型确定所述上一个统计周期内的IO负载类别；根据上一个统计周期内的IO负载类别计算所述当前统计周期对应的流控阈值；

基于所述当前统计周期对应的流控阈值，将所述被确定为热点数据的数据块写入到缓存中。

2.如权利要求1所述的方法，其特征在于，将所述数据集划分为多个数据块包括：

将所述数据集平均划分为预设数量的数据块；或

将所述数据集随机划分为预设数量的数据块；或

将所述数据集按照预设大小划分为多个数据块。

3.如权利要求1所述的方法，其特征在于，所述判断所述多个数据块中是否有数据块为热点数据是通过计算数据块被访问的概率值，基于所述概率值预测数据块是否为热点数据，包括：

统计每个数据块在所述预设时间段内被访问的次数；

基于每个数据块在所述预设时间段内被访问的次数，计算每个数据块在所述预设时间段内被访问的概率值；

判断每个数据块被访问的概率值是否大于预设概率值；

当判断数据块被访问的概率值大于所述预设概率值时，确定大于所述预设概率值的被访问的概率值对应的数据块为热点数据；

当判断数据块被访问的概率值小于或者等于所述预设概率值时，确定小于或者等于所述预设概率值的被访问的概率值对应的数据块为非热点数据。

4.如权利要求1所述的方法，其特征在于，所述获取迁移周期内的当前统计周期对应的流控阈值还包括：

当确定所述当前统计周期为所述第一个统计周期时，将预设流控阈值确定为所述当前统计周期对应的流控阈值。

5.如权利要求1所述的方法，其特征在于，所述根据所述上一个统计周期内的所述IO的平均数据块大小、平均数据块时延、数据块大小的基准值、对应的数据块时延的基准值，计算所述上一个统计周期内的IO负载强度的计算公式为：其中，X为上述上一个统计周期内的所述IO的平均数据块大小，Y为所述平均数据块时延，M为所述数据块大小的基准值，N为所述对应的数据块时延的基准值。

6.如权利要求1所述的方法，其特征在于，所述根据上一个统计周期内的IO负载类别计算当前统计周期对应的流控阈值包括：

当所述上一个统计周期内的IO负载类别为高负载类别时，将所述上一个统计周期对应的流控阈值降低第一预设幅度，得到当前统计周期对应的流控阈值；

当所述上一个统计周期内的IO负载类别为低负载类别时，将所述上一个统计周期对应的流控阈值提高第二预设幅度，得到当前周期对应的流控阈值；

当所述上一个统计周期内的IO负载类别为正常负载类别时，将所述上一个统计周期对应的流控阈值作为当前统计周期对应的流控阈值。