[发明专利]一种云计算环境下中间数据的容错性优化方法

说明书

技术领域

本发明设计一种云计算环境下中间数据的容错性优化方法，具体设计一种云计算环境下中间数据采用选择存储的数据管理方法，进行后台复制和开销比较等，降低存储复制开销，提升系统性能，属于计算机存储技术领域。

背景技术

随着云计算的流行，云计算编程模型的重要性也日渐凸显，其中数据流编程模型是一种主导编程模型。数据流编程模型在大规模数据处理中越来越流行，例如MapReduce,Dryad和Pig。数据流程序是包括多个阶段的计算和将各个阶段连接在一起的通信方式。中间数据是任务开始到结束之间，在各个阶段计算产生的数据，它是上个阶段的输出数据和下个阶段的输入数据。在云计算规模日益增大的情况下，节点失效问题越发频繁，并成为大家关注的焦点。而节点失效带来中间数据丢失，直接影响任务的执行，如何有效管理中间数据，提高中间数据的容错性以保证任务的顺利完成成为当前云计算领域研究的热点。

除了从提高硬件稳定性等方面的考虑外，通过修改现有的存储系统对中间数据进行存储是常用的方法之一，即利用现有存储系统通过增加备份数量以此来提高中间数据的容错性。这种方式下存储中间数据不能根据系统中的任务运行情况，进行低开销、低干扰的数据复制。这种方式实现简单，但未考虑到系统中负载、任务执行、所在位置等情况。此方法在提高中间数据容错性的同时，会占用网络资源，影响任务完成时间，从而降低系统的整体性能。

如果采用选择存储技术，通过在线收集任务进度及所在位置，进行后台复制、任务临近节点存储等方法，可以避免上述方法所带来的缺点，并且可以是使系统性能不下降的情况下完成中间数据容错性优化的目的，在云计算中间数据领域具有很重要的意义。

发明内容

本发明的目的是提供一种云计算环境下中间数据的容错性优化方法，它首先考虑网络的负载情况，在满足低干扰的情况下选择性的对中间数据进行备份，从而提高其容错性、提高系统性能。

如图1所示，本发明是一种云计算环境下中间数据的容错性优化方法，该方法包括以下步骤。

步骤101. 计算节点动态统计网络负载，任务执行进度、位置等信息，以心跳信息的形式报告给主控节点，以确定备份策略。

步骤102. 计算节点对任务输入数据进行判断和划分，以确定数据是否需要复制，并向主控节点提出复制申请。

步骤103. 根据主控节点的复制命令的反馈，计算机节点利用空闲带宽，考虑比较开销、复制时间等因素，进行数据复制。

步骤104. 向主控节点反馈备份情况，更新数据备份信息。

其中，步骤101所述的信息统计需满足快速、数据充足及实时的要求。网络负载信息是主控节点和计算节点判断复制的重要数据依据。网络负载信息主要包括往返延迟和丢包率，即在当前时段网络中以往返延迟增加和丢包率增加衡量网络负载情况，以避免因复制占用网络资源过多而导致整体性能下降。所述的任务执行进度、位置，是根据当前正在执行任务，收集任务的TaskID、任务执行节点位置、任务已执行时间、任务进度评分(在云计算框架里，将任务评分分为0至1分，每个阶段为1/3)等信息，以预测任务完整执行所需的最长时间和备份存储位置。信息统计周期以0.5秒~1.0秒之间为最佳，并封装为心跳信息发送给主控节点。

其中，步骤102所述的是任务输入数据，产生于本地节点或远程节点。该阶段需要对输入数据的来源位置进行快速、准确的判断。在任务等待输入数据期间，本地节点以心跳信息的方法发送给主控节点查询该任务输入数据的产生位置或本地节点通过执行线程查询输入数据的产生位置，进而判断输入数据产生于本地节点或远程节点，如输入数据是本地节点产生则需要进行备份，反之则不需要。在云计算环境下，本地产生的数据在任务使用完后会自动删除，而远程节点产生数据在不同节点使用完后会自动保存。因此在任务开始前判断数据情况以确定复制，能提高资源使用率，避免因重复复制而造成时间耗费、占用额外资源而导致的性能下降。