[发明专利]基于CPU-GPU异构复合式并行计算框架的密码子偏差系数模型方法

说明书

本发明提供了一种基于CPU‑GPU异构复合式并行计算框架的密码子偏差系数实现方法，包括：在刀片机上建立集群，每台刀片机作为一个节点；并将主节点同时设置为主节点和从节点；搭建CUDA框架环境，并进行网络配置；对提交的批量作业目录进行预处理，拟合输出包含各个待处理任务文件实际HDFS存储位置的任务清单到指定的目录；定义对任务清单的划分规则，并发送到节点中进行处理；获取到单个任务文件的HDFS路径，将其下载到本地节点后，整理为命令请求；并将文件内容和命令请求发送到GPU服务器上；在监控到GPU服务器端计算完成后，将输出文件下载到本地，并上传至HDFS。本发明在批量作业提交情况下实现作业划分、并行处理以及内存计算，提高了密码子偏性算法的效率。

技术领域

本发明涉及一种通过建立CPU-GPU异构复合式并行计算框架，优化密码子偏差系数模型效率的方法，属于生物大数据领域。

背景技术

随着生物信息学的发展，人们通过大量研究生物分子信息结构和组织来深度学习基因组遗传信息规律。而随着测序技术的发展创新，如今的第三代测序技术达到了更加准确、快速、低成本的水准。以HISEQ X TEN测序仪为例，其推动了人类在分析遗传信息规律的领域快速进步，但同时也形成了大量基因数据的存储和分析效率问题。

其中有通过数学以及统计学，以改进算法为手段实现提升基因数据分析效率的方法，也有利用GPU图形卡的物理特性，以其强大的高速并行能力来实现计算加速的途径。其中CUDA-C就这两者在一定程度上缓解了大规模生物数据计算的压力，通过支持CUDA的GPU实现针对密码子使用偏性算法(CAT)的单机并行计算，充分利用图形处理的高计算性能，实现200倍加速比。但就目前而言，NCBI、EBI、DDBJ等生物数据库依旧不断地丰富着各个类型的基因数据，数据量的增长似乎并没有停下脚步的趋势。故而在数据分析处理以及数据存储的问题上，我们急需找到新的突破点。

近年来随着网格计算概念的提出以及云计算的实现，该方法在一定程度上可以理解为将分布式集群中软、硬件资源的网络共享。Hadoop作为现如今主流的云计算框架之一，具备高可靠性(按位存储和强大的数据处理能力)、高扩展性(在可用的计算机集簇间分配数据并完成计算任务，这些集簇能够方便的扩展到数以千计的计算节点中，并且针对于集群而言，能够轻易的实现节点数量的扩展)、高效性(能够在集群中动态的移动数据，并且能够有效的保证各个节点的动态平衡)、高容错性(自动保存数据的多个副本以保证数据的安全性和完整性)等优秀的特点。同时Hadoop支持Java、C、C++以及Python等语言进行开发，有着很高的易用性。而对于节点硬件要求的并不高，这使得Hadoop集群的搭建和使用成本也相对较低，在一定程度上提高了性价比。

现有技术中，目前采用的主要方案包括以下几种：

就生物信息学本身而言，研究人员通过数学模型优化了传统算法的适用性问题，并通过其研发的密码子组分分析工具箱CAT对密码子偏差系数模型CDC进行了实现。而后GPU并行加速的研究人员通过NVIDIA公司的CUDA编程模型对上述CAT软件中CDC算法的部分不具备数据依赖关系的模块实现了GPU的并行加速，发布了CDC算法的CUDA优化软件CUDA-CDC。在现有技术中，例如公开号为CN102708088A、CN104536937A、CN104731569A、CN105335135A等中记载的技术方案中，其均是通过设定固定的master和slave节点，搭建结群框架。

现有技术主要存在的缺陷有以下几点：

(1)无法解决当前多任务的串行处理问题。

(2)当前采用的刀片式服务器由于无法安插GPU设备而无法采用CPU、GPU同构模式。

发明内容

有鉴于此，为解决现有技术中存在的上述问题，本发明具体提供了如下技术方案：

本发明提供了一种基于CPU-GPU异构复合式并行计算框架的密码子偏差系数实现方法，其特征在于，所述方法包括如下步骤：