[发明专利]基于CPU-GPU异构复合式并行计算框架的密码子偏差系数模型方法

权利要求书

1.一种基于CPU-GPU异构复合式并行计算框架的密码子偏差系数实现方法，其特征在于，所述方法包括如下步骤：

步骤一、在刀片机上建立Hadoop集群，每台刀片机作为一个节点；并将主节点同时设置为主节点和从节点；

步骤二、在塔式服务器上搭建CUDA框架环境，并设置能够与Hadoop集群各个节点实现通信的网络配置；

步骤三、对提交的批量作业目录进行预处理，拟合输出包含各个待处理任务文件实际HDFS存储位置的任务清单到指定的目录下；

步骤四、通过MapReduce框架定义对任务清单的划分规则，在主节点启动Map任务，获取任务清单中的各个任务的分片实例，并发送到节点中进行处理，所述节点为每台刀片机所对应的节点；

步骤五、通过Reduce模块的输入获取到单个任务文件的HDFS路径，将其下载到本地节点后，整理为需要在GPU服务器上进行处理的命令请求；并将文件内容和命令请求发送到GPU服务器上后，远程控制命令执行；

步骤六、在监控到GPU服务器端CUDA-CDC程序计算完成后，将指定输出目录下的输出文件下载到本地节点，并上传至HDFS。

2.根据权利要求1所述的方法，其特征在于，所述步骤二中，所述塔式服务器安装的图形计算卡数量与刀片服务器数量相同。

3.根据权利要求1所述的方法，其特征在于，所述步骤三中，对批量作业目录进行预处理具体包括：

对用户提交至HDFS中的作业文档目录进行遍历，搜寻符合CUDA-CDC输入文件要求的fasta文件，按照文件名每遍历得到一个结果则将文件在HDFS的目录字符串与文件名进行拼接，得到该文件在HDFS存储的完整路径，并将表示完整路径的字符串作为一行记录写入HDFS中的任务清单中。

4.根据权利要求1所述的方法，其特征在于，所述步骤四中，所述划分规则具体为：

采用按行划分规则，对所述任务清单中的N行内容创建一个记录，获得所有待处理的HDFS存储位置；所述N为自然数。

5.根据权利要求1所述的方法，其特征在于，所述步骤五中，整理为需要在GPU服务器上进行处理的命令请求，具体包括如下步骤：

在远程执行命令过程中，定义远程命令执行主机的IP、用户名、密码及完整的命令字符串；对于fasta文件分析命令，通过绝对路径定义软件的名称、输入参数。

6.根据权利要求5所述的方法，其特征在于，所述步骤五还包括：通过定义相同的输出路径，统计输出文件的位置，以便于分级结果的回收；

通过字符串拼接，得到包含绝对路径描述的包含软件信息、输入信息、输出信息的命令行字符串。

7.根据权利要求1所述的方法，其特征在于，所述步骤一中，集群系统结构具体为：

包含主节点、从节点以及计算服务节点三个子集群，不同于以往的集群系统，Map端与GPU端不建立通信；

Reduce端与GPU端之间采用JSCH进行通信，将Map端与Reduce端以及GPU端的计算环境彻底分开，进行协同处理。