[发明专利]一种基于外显子区域插入的数据压缩方法

说明书

一种基于外显子区域插入的数据压缩方法，涉及数据压缩领域。本发明是为了解决现有的数据压缩方法压缩时运行速度慢、压缩适应范围窄、压缩存储量消耗大的问题。本发明包括：对测序短读DNA数据进行预处理获取外显子数据集合；对外显子数据集合进行质控获取异常值并将异常值存储在哈希表中；将哈希表中的异常值进行有序存放；使用霍夫曼编码对存放在哈希表中的异常值中的碱基进行压缩存储；利用LYZip局部解压缩方法判断此时累积插入序列深度是否已经达到30X，如果大于30X则表明无法进行插入压缩；如果小于30X，并且累加上新加入的插入序列仍然小于30X，则重复压缩步骤。本发明用于对数据的压缩。

技术领域

本发明属于数据压缩领域，具体涉及一种基于外显子区域插入的数据压缩方法。

背景技术

随着生物信息学的发展测序技术已经发展为三代测序时代，三代测序技术已经成为目前生物信息领域主要研究的方向。但是随着三代测序技术的迅速发展也带来了测序生成序列与数据库存储空间不匹配，数据增长速度与计算机容量增长不匹配等问题，因此为了对应测序数据的高速生长，对于测序数据的压缩方法成为目前急需解决的难题。

目前针对此类压缩问题——已有一定压缩数据，输入新的测序数据，压缩新的测序数据到之前的压缩数据中，压缩主要采用两种方法；一种是将压缩输数据解压缩，然后解压缩数据和新的测序数据合并进行排序再压缩，但是这种方法序列之间的排序使用的是samtools的sort功能，该功能会随着序列的增多而消耗大量时间，从而减缓运行速度，且压缩时将正常比对碱基序列也进行了压缩，增大了压缩的存储消耗。第二种方法是LYZip增量压缩方法，但是LYZip增量压缩方法的压缩深度只能是10X，其压缩适应范围不够广且压缩的数据比较少。因此目前的数据压缩方法存在运行速度慢、压缩适应范围窄、压缩存储消耗大的的问题。

发明内容

本发明目的是为了解决现有的数据压缩方法压缩时运行速度慢、压缩适应范围窄、压缩存储量消耗大的问题，而提出了一种基于外显子区域插入的数据压缩方法。

一种基于外显子区域插入的数据压缩方法，具体过程为：

步骤一、对测序短读DNA数据进行预处理获取外显子数据集合；

步骤二、对外显子数据集合进行质控获取异常值并将异常值存储在哈希表中；

步骤三、将哈希表中的异常值进行有序存放；

步骤四、使用霍夫曼编码对存放在哈希表中的异常值中的碱基进行压缩存储；

步骤五、利用LYZip局部解压缩方法判断此时累积插入序列深度是否已经达到30X，如果大于30X则表明无法进行插入压缩；如果小于30X，并且累加上新加入的插入序列仍然小于30X，则重复步骤一到三再次进行插入压缩。

本发明的有益效果为：

本发明是对LYZip中增量压缩算法的改进，在原有一定深度的，经过TPBWT算法压缩的测序短读数据基础上，提取其中的基因区域的外显子区间数据，在不全部解压缩原有测序数据压缩文件的基础上，将提出的外显子数据插入到既定位置，同时完成压缩操作，本发明针对外显子进行压缩省略了排序的过程，节省了压缩的时间进而提高了整体压缩的速度，且压缩过程中没有压缩正常比对碱基序列，节省了压缩时间的同时也节省了存储消耗。本发明还利用了TPBWT结构能够通过前一列存储索引结构变换后一列而不需要额外存储索引结构以及TPBWT结构中所有位点都包含标识符'2'的特性，保证了插入操作不需要额外对索引信息进行改动，减少了处理步骤，提高了运行速度，以及通过设置标识符'2'可以占据压缩区间的所有位点，保证了后续的插入压缩算法能够在线性时间快速定位到所要插入的位点位置，使插入压缩在压缩速度上得到了提升的同时将最大压缩深度提升到了31X，提高了数据压缩的适应范围，进而提高了压缩存储量。

附图说明

图1为本发明结构框图。

具体实施方式