[发明专利]一种基于历史信息的HDFS数据块放置策略

摘要

一种基于历史信息的HDFS数据块放置策略，先判定集群中各机架的性能差异，再根据数据块的总数和各个机架的性能差异，在各个机架之间进行有区别的数据块分配，对一个机架中的各个节点的性能差异进行判定，将分配到该机架的数据块有区别的放置在该机架中的节点上，最后进行数据节点选择策略，本发明通过对历史日志信息的分析和统计，判定各个节点的处理能力的差异，并根据节点的处理能力来放置数据块，从而提高作业运行时map任务数据本地性，从而提高Map阶段的完成效率。

主权项

一种基于历史信息的HDFS数据块放置策略，其特征在于，包括以下步骤：1)、机架的性能差异的判定：1.1)分析历史日志信息，统计集群中完成的作业的个数n；1.2)对于一个作业，统计每个机架中运行该作业的每个节点所处理的数据量，以及处理该数据量所花费的时间，由此计算出每个机架中的所有节点运行该作业所处理的数据总量以及所花费的总时间，然后计算出每个机架中的所有节点运行所有作业的处理速率；1.3)对各个机架中所有节点运行所有作业的速率进行做比运算，得到各个机架之间处理能力的差异；2)、数据块在机架之间的分配：2.1)计算需要放置数据块的总数；2.2)计算每个机架处理作业的速率与所有机架处理作业速率和的比值；2.3)由放置数据块的总数乘以2.2)步骤中的比值计算出数据块在每个机架的放置的数据块数量；3)、机架中节点的处理能力的判定：3.1)分析历史日志信息中的各个节点完成的map任务的情况，统计出一个机架中的各个节点的所完成的map任务的输入数据量以及处理完该数据量所花费的时间，由此计算出各个节点的处理速率；3.2)计算出每个机架中的各个节点的处理速率之后，将同一机架中的各个节点的处理速率进行比较，得到同一机架上的各个节点之间处理速率的性能比值；4)、确定机架中节点放置的数据块数量：4.1)计算出机架中每个节点处理作业的速率与当前机架中所有节点处理作业速率和的比值；4.2)由2.3)所得一个机架上放置数据块数量乘以4.1)步骤中的比值计算出数据块在机架中每个节点放置的数据块数量；5)、数据节点选择策略：当为一个数据块选择放置节点时，遵循以下原则：首先选择处理能力最强的机架上的处理能力最强的两个节点放置第一个和第二个副本，然后选择另外一个机架中最强的节点放置第三个副本，如果所选定的机架上所有节点上已经放置的数据块的个数达到了机架预先设定的大小，就选择剩余机架中处理能力最强的；如果选择的处理能力最强的节点上已经放置的数据块数目达到了节点预先设定的大小，则选择该机架中剩余节点中处理能力最强的。