[发明专利]块同步并行计算中实现检查点的方法、装置和系统

权利要求书

1.一种块同步并行计算中实现检查点的方法，其特征在于，该方法包括：

将分布式文件系统中的数据节点和块同步并行计算系统中对应的工作节点布置在同一物理设备上；

按照所述分布式文件系统的文件带区格式对所述工作节点上的检查点数据文件进行划分，并创建相对应的校验文件；

将所述划分后的检查点数据文件和相对应的校验文件，在该同一物理设备上从所述工作节点移动到数据节点；

将移动到该数据节点的检查点数据文件和校验文件复制到该块同步并行计算系统的另外数据节点中。

2.根据权利要求1所述的块同步并行计算中实现检查点的方法，其特征在于，所述将划分后的检查点数据文件和相对应的校验文件，在该同一物理设备上从所述工作节点移动到数据节点包括：

在该同一物理设备上将划分后的检查点数据文件和相对应的校验文件，从所述工作节点并行复制到数据节点；

删除工作节点上的所述划分后的检查点数据文件和相对应的校验文件。

3.根据权利要求1所述的块同步并行计算中实现检查点的方法，其特征在于，该方法进一步包括：

当该工作节点的计算工作需要被转移到预先设定的备份工作节点时，备份工作节点从所述该块同步并行计算系统的另外数据节点中并行下载所述检查点数据文件和相对应的校验文件；

备份工作节点基于所述检查点数据文件和相对应的校验文件，恢复该工作节点的计算工作。

4.根据权利要求1所述的块同步并行计算中实现检查点的方法，其特征在于，所述将移动到数据节点的检查点数据文件和校验文件复制到该块同步并行计算系统的另外数据节点中包括：

基于移动到数据节点的检查点数据文件和校验文件，修改在名字节点上所存储的文件元数据；

根据所修改的文件元数据，将移动到数据节点的检查点数据文件和校验文件复制到该块同步并行计算系统的另外数据节点。

5.根据权利要求1-4中任一项所述的块同步并行计算中实现检查点的方法，其特征在于，所述按照分布式文件系统的文件带区格式对所述工作节点上的检查点数据文件进行划分，并创建相对应的校验文件包括：

预先设置工作节点上的检查点；

按照分布式文件系统的文件带区格式，对所述预先设置检查点的检查点数据文件进行划分，并创建相对应的校验文件数据文件。

6.根据权利要求1-4中任一项所述的块同步并行计算中实现检查点的方法，其特征在于，所述按照分布式文件系统的文件带区格式对所述工作节点上的检查点数据文件进行划分，并创建相对应的校验文件包括：

基于所述块同步并行计算系统的运行状况确定检查点；

按照分布式文件系统的文件带区格式，对所述确定检查点的检查点数据文件进行划分，并创建相对应的校验文件数据文件。

7.一种块同步并行计算中实现检查点的装置，其特征在于，该装置包括节点布置单元、检查点数据文件划分单元、数据移动单元和数据复制单元，其中：

节点布置单元，用于将分布式文件系统中的数据节点和块同步并行计算系统中对应的工作节点布置在同一物理设备上；

检查点数据文件划分单元，用于按照所述分布式文件系统的文件带区格式对所述工作节点上的检查点数据文件进行划分，并创建相对应的校验文件；

数据移动单元，用于将所述划分后的检查点数据文件和相对应的校验文件，在该同一物理设备上从所述工作节点移动到数据节点；

数据复制单元，用于将移动到该数据节点的检查点数据文件和校验文件复制到该块同步并行计算系统的另外数据节点中。

8.根据权利要求7所述的块同步并行计算中实现检查点的装置，其特征在于，

数据移动单元，用于在该同一物理设备上将划分后的检查点数据文件和相对应的校验文件，从所述工作节点并行复制到数据节点；删除工作节点上的所述划分后的检查点数据文件和相对应的校验文件。