[发明专利]一种针对大数据基因测序文件的压缩处理方法

权利要求书

1.一种对fastq文件压缩的方法，包括：

步骤1，遍历fastq文件，统计序列数量，确定每个压缩块所包含的序列数量P；

步骤2，依次读取fastq文件，每读取P个序列进行处理形成一个压缩块，以及将该压缩块包含的序列数量，压缩块大小和压缩后的内容一起写入压缩文件；

步骤3，重复步骤2，记录每个压缩块在压缩文件中的起始位置信息，直到读取完毕；

步骤4，将压缩块总数、序列总数和每个压缩块块的起始位置信息写入所述压缩文件。

2.根据权利要求1所述的方法，其特征在于，所述压缩文件包括数据文件和索引文件，其中，

所述数据文件由多个压缩块构成，每个压缩块内包含当前压缩块对应的测序序列的数量，该压缩块所占用的字节数，以及采用压缩算法压缩后的测序序列数据；

所述索引文件包含两部分，一个部分是索引首行的内容，包含压缩块总数以及序列总数；另一个部分是索引内容，由一行或者多行文本数据组成，每行包含对应的一个压缩块信息。

3.根据权利要求2所述的方法，其特征在于，所述压缩算法采用gzip压缩算法。

4.根据权利要求2所述的压缩方法，其特征在于，所述压缩块信息包含三个数据，分别是压缩块的编号、该压缩块在压缩数据文件中的起始位置以及压缩块的大小。

5.一种用于权利要求1-4之一产生的压缩文件的解压缩方法，包括：

步骤1，顺序读取一个压缩块的信息；

步骤2，根据压缩块信息对该压缩块进行解压读取；

步骤3，如果读取完毕则结束，否则回到步骤1继续处理下一压缩块。

6.一种用于权利要求1-4之一产生的压缩文件的解压缩方法，包括：

步骤1，根据索引文件信息，确定每个压缩块在压缩文件的数据文件中的起始位置和结束位置；

步骤2，启动多个线程，每个线程一次解压处理一个压缩块数据；

步骤3，解压后的数据按照压缩块编号放入缓冲队列，各线程继续处理后续未解压的压缩块直到处理完毕所有压缩块；

步骤4，将缓冲队列中的数据写入解压文件。

7.一种处理基于权利要求1-4生成的压缩文件的方法，包括如下步骤：

步骤1，根据索引文件信息，确定每个压缩块在压缩文件的数据文件中的起始位置和结束位置；

步骤2，根据节点或进程的数量，确定每个节点或进程读取的压缩块数量和范围；

步骤3，根据每个节点读取的范围进行解压缩处理。

8.一种构建基于权利要求1-4之一产生的压缩文件的索引文件的方法，包括：

步骤1，通过读取压缩文件的数据文件，获取每个压缩块对应的序列数量和压缩块大小信息；

步骤2，将所述序列数量和压缩块大小信息写入到索引文件。

9.一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现根据权利要求1-8中任意一项所述的方法。

10.一种计算机设备，包括存储器和处理器，在所述存储器上存储有能够在处理器上运行的计算机程序，其特征在于所述处理器执行所述程序时实现根据权利要求1-8任意一项所述的方法。