[发明专利]一种针对大数据基因测序文件的压缩处理方法

说明书

本发明涉及高性能计算领域，特别涉及一种大数据基因测序文件的压缩处理方法，使得在减小测序数据占用的存储资源的同时，可以方便的进行数据划分，从而方便后续的并行分析处理，提高了分析效率。

技术领域

本发明涉及高性能计算领域，特别涉及一种大数据基因测序文件的压缩处理方法。

背景技术

随着基因测序技术的发展，尤其是二代测序甚至三代测序的技术突破，基因数据变得越来越容易获取。基因数据测序文件通常采用fastq文件格式存储，使用bwa工具进行后续分析。每个测序文件少则几G，多则几十G到上百G。如何高效的存储和分析海量基因测序数据，成为了一项新的挑战。

减少存储空间的现有技术手段是采用传统的压缩技术，提高分析效率的技术手段是将数据划分后进行多线程或多节点并行计算。

传统的压缩技术虽然可以减少测序数据的存储空间，却不利于数据划分，需要先将测序数据完全解压之后，才能对数据进行划分，由此导致了数据分析的低效率。

发明内容

本发明提供一种对fastq文件压缩的方法，包括：

步骤1，遍历fastq文件，统计序列数量，确定每个压缩块所包含的序列数量P；

步骤2，依次读取fastq文件，每读取P个序列进行处理形成一个压缩块，以及将该压缩块包含的序列数量，压缩块大小和压缩后的内容一起写入压缩文件；

步骤3，重复步骤2，记录每个压缩块在压缩文件中的起始位置信息，直到读取完毕；

步骤4，将压缩块总数、序列总数和每个压缩块块的起始位置信息写入所述压缩文件。

优选地，上述压缩文件包括数据文件和索引文件，其中，

所述数据文件由多个压缩块构成，每个压缩块内包含当前压缩块对应的测序序列的数量，该压缩块所占用的字节数，以及采用压缩算法压缩后的测序序列数据。

所述索引文件包含两部分，一个部分是索引首行的内容，包含压缩块总数以及序列总数；另一个部分是索引内容，由一行或者多行文本数据组成，每行包含对应的一个压缩块信息。

优选地，上述压缩方法中的压缩算法采用gzip压缩算法。

优选地，上述压缩块信息包含三个数据，分别是压缩块的编号、该压缩块在压缩数据文件中的起始位置以及压缩块的大小。

一种用于上述压缩文件的解压缩方法，包括：

步骤1，顺序读取一个压缩块的信息；

步骤2，根据压缩块信息对该压缩块进行解压读取；

步骤3，如果读取完毕则结束，否则回到步骤1继续处理下一压缩块。

一种用于上述压缩文件的解压缩方法，包括：

步骤1，根据索引文件信息，确定每个压缩块在压缩文件的数据文件中的起始位置和结束位置；

步骤2，启动多个线程，每个线程一次解压处理一个压缩块数据；

步骤3，解压后的数据按照压缩块编号放入缓冲队列，各线程继续处理后续未解压的压缩块直到处理完毕所有压缩块；

步骤4，将缓冲队列中的数据写入解压文件。

一种处理上述压缩文件的方法，包括如下步骤：

步骤1，根据索引文件信息，确定每个压缩块在压缩文件的数据文件中的起始位置和结束位置；

步骤2，根据节点或进程的数量，确定每个节点或进程读取的压缩块数量和范围；