[发明专利]一种文件处理方法及装置

权利要求书

1.一种文件处理方法，其特征在于，包括：

分析待处理任务所包括的各个文件间的依赖关系；

将所述待处理任务所包括的各个文件按照文件间的依赖关系进行分类，得到多个分类类别，并记录所述待处理任务的每个文件的路径结构；其中，每个分类类别对应包括所述待处理任务的具有依赖关系的多个文件；

基于预定的文件分发策略将所述待处理任务的各个文件分发至分布式集群的多个节点；其中，属于相同分类类别的各个文件被分发到同一节点；

获取各个节点对所分发的文件的处理结果，并基于各文件的路径结构对各文件的处理结果进行归并处理，以使得还原所述待处理任务的任务结构；

所述待处理任务为待处理的工程源码，则所述将所述待处理任务所包括的各个文件按照文件间的依赖关系进行分类，得到多个分类类别，包括：

根据所述工程源码的各个源代码文件之间的依赖关系对所述各个源代码文件进行类别划分，得到多个分类类别的源代码文件，其中，每个分类类别对应包括具有依赖关系的多个源代码文件；

其中，所述文件间的依赖关系表征一个文件的如编译或运行需要以另一个文件为前提，如果所述另一个文件缺失，则该一个文件无法使用。

2.根据权利要求1所述的方法，其特征在于，所述基于预定的文件分发策略将所述待处理任务的各个文件分发至分布式集群的多个节点，包括：

获取集群中各节点的计算资源使用情况、网络负载情况及拥塞情况；

基于集群中各节点的计算资源使用情况、网络负载情况及拥塞情况，对工程源码的各个源代码文件进行任务分发；其中，属于相同分类类别的各个源代码文件被分发到同一节点。

3.根据权利要求2所述的方法，其特征在于，所述获取各个节点对所分发的文件的处理结果，并基于各文件的路径结构对各文件的处理结果进行归并处理，以使得还原所述待处理任务的任务结构，包括：

基于多线程或多进程监听集群中各个节点的处理情况；

当监听到某一节点的对所分发的相应类别源代码文件的编译结果时，接收所述编译结果并获取该类别中每个源代码文件的路径结构；

基于该类别中每个源代码文件的路径结构，将该类别中每个源代码文件的编译结果写入存储介质的相应位置，以使得还原所述工程源码的工程结构。

4.根据权利要求3所述的方法，其特征在于，将源代码文件的编译结果写入存储介质的相应位置，包括：

将源代码文件的编译结果存储到预定的共享目录下。

5.一种文件处理装置，其特征在于，包括：

分析单元，用于分析待处理任务所包括的各个文件间的依赖关系；

分类及信息记录单元，用于将所述待处理任务所包括的各个文件按照文件间的依赖关系进行分类，得到多个分类类别，并记录所述待处理任务的每个文件的路径结构；其中，每个分类类别对应包括所述待处理任务的至少一个文件；

分发单元，用于基于预定的文件分发策略将所述待处理任务的各个文件分发至分布式集群的多个节点；其中，属于相同分类类别的各个文件被分发到同一节点；

结果处理单元，用于获取各个节点对所分发的文件的处理结果，并基于各文件的路径结构对各文件的处理结果进行归并处理，以使得还原所述待处理任务的任务结构；

所述待处理任务为待处理的工程源码；

所述分类及信息记录单元将所述待处理任务所包括的各个文件按照文件间的依赖关系进行分类，得到多个分类类别，具体包括：

根据所述工程源码的各个源代码文件之间的依赖关系对所述各个源代码文件进行类别划分，得到多个分类类别的源代码文件，其中，每个分类类别对应包括至少一个源代码文件；

其中，所述文件间的依赖关系表征一个文件的如编译或运行需要以另一个文件为前提，如果所述另一个文件缺失，则该一个文件无法使用。

6.根据权利要求5所述的装置，其特征在于，所述分发单元，具体用于：

获取集群中各节点的计算资源使用情况、网络负载情况及拥塞情况；

基于集群中各节点的计算资源使用情况、网络负载情况及拥塞情况，对工程源码的各个源代码文件进行任务分发；其中，属于相同分类类别的各个源代码文件被分发到同一节点。