[发明专利]一种海量日志的缓冲量分配方法

权利要求书

1.一种海量日志的缓冲量分配方法，用于在读入海量日志时分配子表的缓冲量，其特征在于，该方法包括以下步骤：

S11、实时读入日志至子表，并将所述日志存储在子表中指定的段内；

S12、对所述子表中的所有段按照读入日志的时间进行划分，若读入子表的日志具有相同的域，则在所有相同的域中均引用子表中首次出现的域的偏移量，并统计所述首次出现的域的偏移量被引用的次数；

S13、建立每段的引用量S_i，所述引用量S_i为第i段中所有所述首次出现的域的偏移量被引用的次数之和，其中，i为[1，n]中的正整数，n为所述子表中的段；计算子表的总引用量S_sum：

S14、按照读入日志的时间排列每段及每段的引用量S_i，对每段及每段的引用量S_i的关系进行线性拟合，得到规定表征段与引用量的对应关系的直线y＝ax+b，其中，x轴为所述子表中的第x段，y轴为所述引用量；

S15、根据所述直线y＝ax+b规定的所述对应关系将所述子表中预设的总缓冲量C_sum分配给每段，第i段分配所得的缓冲量C_i为：C_i=C_sum×(ai+b)／S_sum。

2.如权利要求1所述的缓冲量分配方法，其特征在于，在所述步骤S11中：所述日志的域包括用户ID、访问时间、访问IP、请求页面和请求功能号。

3.如权利要求2所述的缓冲量分配方法，其特征在于，所述步骤S12包括以下子步骤：

S12A、对所述子表中的所有段按照读入日志的时间进行划分，若读入子表的日志具有相同的域，则在所有相同的域中均引用子表中首次出现的域的偏移量；

S12B、统计第i段第j个首次出现的域的偏移量被引用的次数_L并对所述次数排序，其中，i为[1，n]中的正整数，n为所述子表中的总段数，j为[1，m]中的正整数，m为所述第i段中的首次出现的域的总个数。

4.如权利要求3所述的缓冲量分配方法，其特征在于，所述步骤S13包括以下子步骤：

S13A、建立引用量S_i，所述引用量S_i为第i段中所有所述首次出现的域的偏移量被引用的次数之和：其中，i为[1，n]中的正整数，n为所述子表中的总段数，j为[1，m]中的正整数，m为所述第i段中的首次出现的域的总个数；

S13B、计算子表的总引用量S_sum：

5.如权利要求4所述的缓冲量分配方法，其特征在于，所述步骤S14还包括：

S14A、按照读入日志的时间排列每段及每段的引用量S_i，取所述排序在预设范围内的域所在的段进行线性拟合，得到规定表征段与引用量的对应关系的直线y＝ax+b，其中，x轴为所述子表中的段，y轴为所述引用量。

6.如权利要求5所述的缓冲量分配方法，其特征在于，该方法还包括：

S15A、在所述步骤S15之前，判断ai+b是否大于0，若ai+b大于0，则执行步骤S15；若ai+b小于或等于0，则执行步骤S15B；

S15B、将拟合直线沿y轴向上平移c个单位，直至ai+b+c大于0，并将所述拟合直线修正为y＝ax+b+c；

S15C、将所述子表中预设的总缓冲量C_sum分配给每段，第i段分配所得的缓冲量C_i为：Ci=Csum×(ai+b+c)/(Ssum×∫0-(b+c)/a(ax+b+c)dx/∫0-b/a(ax+b)dx).]]>