[发明专利]一种基于Hyper-Q技术优化高性能计算集群上G-BLASTN的方法

说明书

本发明公布了一种数据传输性能高效的、适合于高性能计算集群的G‑BLASTN序列传输优化方法。目前的G‑BLASTN执行过程是传输一条核酸数据库中的序列序列到GPU显存上，执行一次查询序列比对该条序列的过程。这种设计模式是基于降低性能换取兼容性的考虑。但对于高性能计算集群而言，它往往拥有超大的内存、显存足够容纳各种核酸数据库。我们利用Hyper‑Q技术，实现了批量序列并行传输，让显存中包含整个核酸数据库。这大幅地提升了数据传输的并发性，使得主机端到设备端的数据传输性能提高1.47倍，GPU总运算时间缩短了38.6％。

技术领域

本发明是一种基于Hyper-Q技术优化高性能计算集群上G-BLASTN的方法。方案采用了Hyper-Q技术来实现批量subject sequence序列并行传输，并且整个核酸数据库中的subject sequence全部传输完成后才一次执行比对，避免了浪费带宽、数据传输耗时长的弊端。同时，基于核酸数据库中所有subject传输完毕前提，每个subject sequence查询之间的等待时间减少修改了查询核心函数，kernel函数性能显著提升。

背景技术

目前关于高性能计算集群上G-BLASTN软件的数据传输耗时长问题尚未引起足够重视，本篇文章是首次提出使用Hyper-Q技术对G-BLASTN的数据传输模式进行优化。G-BLASTN程序执行时，是每次传输一条数据库中的subject sequence到GPU显存上，然后执行该条序列与查询序列的比对。这种数据传输模式具有以下几个缺点：

(1)GPU-CPU间带宽利用率低：subject sequence往往都不是长度都不是很大，一般而言10Mb左右，这样就导致GPU-CPU间带宽利用率低。

(2)传输性能差：各种核酸数据库中存在数量不少的短序列，这种短序列往往只有零点几兆，这样就导致管理内存的CUDA API调用的耗时都会比传输耗时大的多。

(3)限制多序列并发查询：目前的G-BLASTN的kernel函数执行状态是每条subjectsequence都要逐次启动kernel，这是因为每次比对的主体subject sequence都要传输到GPU。这种情况下没有可能提升查询的并发性；

(4)各序列比对间有时间间隙：在上一条序列对比完后，要执行下一条比对之前需要将该次要比对的序列传到GPU，这造成了比对间的时间间隙。

Hyper-Q技术增加了更多CPU与GPU之间的同步硬件连接，即硬件工作队列，以确保CPU核心能够在GPU上同时运行更多的任务。Hyper-Q技术保证了在GPU上有更多的并发执行，最大限度地提高了GPU的利用并提高了整体的性能。目前有使用Hyper-Q技术有以下两种场景。

(1)在单个CUDA程序内，通过将各任务下发到各个CUDA非空流中，实现各任务并行执行。

(2)多个CUDA程序中使用MPS，多进程服务(MPS)是CUDA应用程序编程接口(API)的另一种二进制兼容实现。MPS运行时架构被设计成透明地启用协作的多进程CUDA应用程序(通常是MPI作业)，以利用上GPU的Hyper-Q功能。

本发明场景是单程序，所以采用将各任务下发到各个非空流中的Hyper-Q实现方式。首先查询当前设备所最大支持的硬件工作队列数目，选取一个合适当前程序且不大于该数目的值作为并行传输数目。之后按该数目申请CUDA流，将传输任务下发到流中。最后，当所有任务完成，回收CUDA流。

本次实验的高性能计算集群拥有512个节点，一个节点配备8*32G大小内存，GPU设备内存为16G。若经过核酸数据库经过数据压缩后(4倍压缩)，设备内存无法满足要求(最大容纳64G大小核酸数据库)，则高性能集群会调度其他的GPU来存储并执行剩余部分的核酸数据库，一般情况才不会出现该情况。

发明内容