[发明专利]映射化简应用的缓存管理方法和装置

权利要求书

1.一种基于分布式文件系统的MapReduce应用的缓存管理方法，包括：

接收需要迭代计算的MapReduce作业的Map任务的处理请求；

获取处理所述Map任务的参数，所述Map任务的参数包括待处理的数据大小、每条数据记录的大小和同时工作的Mapper的数目；

获取所述Map任务的缓存分片大小，其中所述Map任务的缓存分片大小是根据所述Map任务的参数和Map缓存分片大小的训练模型计算得到的，其中所述Map缓存分片大小训练模型是基于至少一个计算节点处理的Map任务的历史参数建立的Map任务处理时间与缓存分片大小之间关系的第一多元线性回归模型；

将待处理的数据按照所述缓存分片大小从所述分布式文件系统的存储介质读到缓存中用于Map任务处理；

将所述Map任务处理的中间结果数据按照所述缓存分片大小写入所述缓存中用于后续的迭代计算。

2.根据权利要求1所述的方法，还包括迭代计算结束将Map任务的最终计算结果按照所述缓存分片大小写入所述缓存中用于后续的Reduce任务的处理。

3.根据权利要求1所述的方法，其中所述Map任务的历史参数包括：Map任务的处理时间、处理的数据大小、每条数据记录的大小和所述计算节点同时工作的Mapper的数目。

4.根据权利要求3所述的方法，还包括获取所述Map任务的处理时间，根据获取的所述Map任务的参数和处理时间修正所述第一多元线性回归模型的系数。

5.根据权利要求2所述的方法，该方法进一步包括：

接收用户提交的需要迭代计算的MapReduce作业的Reduce任务的处理请求；

获取处理Reduce任务的参数，所述参数包括待处理的数据大小、每条数据记录的大小和同时工作的Reducer的数目；

获取所述Reduce任务的缓存分片大小，其中所述Reduce任务的缓存分片大小是根据所述参数和Reduce缓存分片大小的训练模型计算得到的；

按照所述Reduce任务的缓存分片大小将Map任务的最终输出结果从所述缓存读取出来用于Reduce任务处理。

6.根据权利要求5所述的方法，其中所述Reduce缓存分片大小训练模型是基于至少一个计算节点处理的Reduce任务的历史参数建立的Reduce任务处理时间与缓存分片大小之间关系的第二多元线性回归模型，其中所述Reduce任务的历史参数包括：Reduce任务的处理时间、处理的数据大小、每条数据记录的大小和所述计算节点同时工作的Reducer的数目。

7.根据权利要求6所述的方法，还包括获取所述Reduce任务的处理时间，根据获取的所述Reduce任务的参数和处理时间修正所述第二多元线性回归模型的系数。

8.一种基于分布式文件系统的MapReduce应用的缓存管理装置，包括：

第一接收模块，被配置为接收需要迭代计算的MapReduce作业的Map任务的处理请求；

第一获取模块，被配置为获取所述Map任务的参数，所述Map任务的参数包括待处理的数据大小、每条数据记录的大小和同时工作的Mapper的数目；

第二获取模块，被配置为获取所述Map任务的缓存分片大小，其中所述Map任务的缓存分片大小是根据所述Map任务的参数和Map缓存分片大小训练模型计算得到的，其中所述Map缓存分片大小训练模型是基于至少一个计算节点处理的Map任务的历史参数建立的Map任务处理时间与缓存分片大小之间关系的第一多元线性回归模型；

第一读取模块，被配置为将待处理的数据按照所述缓存分片大小从分布式文件系统的存储介质读到缓存中用于Map任务处理；

第一写入模块，被配置为将所述Map任务处理的中间结果数据按照所述缓存分片大小写入所述缓存中用于后续的迭代计算。

9.根据权利要求8所述的装置，所述第一写入模块进一步被配置为迭代计算结束将Map任务的最终计算结果按照所述缓存分片大小写入所述缓存中用于后续的Reduce任务的处理。

10.根据权利要求8所述的装置，其中所述Map任务的历史参数包括：Map任务的处理时间、处理的数据大小、每条数据记录的大小和所述计算节点同时工作的Mapper的数目。