[发明专利]一种海量DNA测序数据无损快速压缩平台

说明书

本发明公开了一种海量DNA测序数据无损快速压缩平台，涉及DNA测序数据压缩平台领域，该平台将输入FASTQ数据分割成元数据、碱基和质量分数三个数据流，并根据它们自身特点分别独立地压缩：去除元数据流中的重复片段并使用LZMA算法进行压缩；对质量分数流使用游程编码和算术编码压缩；使用匹配工具BWA将短读与参考基因组比对，提取比对结果中的碱基流表达信息并使用LZMA算法、游程编码、算术编码进行压缩。该平台针对DNA序列本身具有的冗余性进行压缩，减少了压缩所需的存储空间。

技术领域

本发明涉及数据压缩领域，特别涉及一种DNA测序数据压缩平台领域。

背景技术

计算机作为处理DNA数据的主要工具面临着前所未有的挑战，DNA测序数据的增长速度远远超过了计算机微处理器和存储设备的增长速度。计算机自诞生以来，其性能提高速度基本符合摩尔定律，微处理器性能和存储容量每18和12个月翻一番，然而DNA序列数据每9个月就增加一倍。急剧膨胀的DNA测序数据日益增加，使得存储这些数据的成本亦越来越高。如何高效地存储和管理高通量DNA测序技术和大型基因组项目产生的DNA数据“海啸”已经成为制约DNA测序产业进一步发展的一个重要因素。

发明内容

本发明所要解决的技术问题是提供一种海量DNA测序数据无损快速压缩平台，该平台针对DNA序列本身具有的冗余性进行压缩，减少了压缩所需的存储空间。

为实现上述目的，本发明提供以下的技术方案：一种海量DNA测序数据无损快速压缩平台，其特征在于：所述平台包括数据读取模块、数据压缩模块、数据存储模块；所述数据读取模块用于读取DNA测序仪得到的FASTQ数据；所述数据压缩模块用于将FASTQ数据分割成元数据、碱基和质量分数三个数据流，并采用不同的压缩算法进行数据压缩；所述数据存储模块用于将压缩后的数据存入数据库。

优选的，所述数据压缩模块将FASTQ数据分割成元数据、碱基和质量分数三个数据流，分别采用LZMA算法、游程编码、算术编码进行压缩。

采用以上技术方案的有益效果是：该海量DNA测序数据无损快速压缩平台将FASTQ数据分割成元数据、碱基和质量分数三个数据流，针对不同数据流的特点，采用不同的压缩算法进行数据压缩，已到达最大可压缩率，实现无损高效压缩，比传统的压缩算法平台具有更好的压缩效率。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细的描述。

图1是本发明海量DNA测序数据无损快速压缩平台的原理图。

具体实施方式

下面结合附图详细说明本发明一种海量DNA测序数据无损快速压缩平台的优选实施方式。

结合图1出示本发明一种海量DNA测序数据无损快速压缩平台的具体实施方式：该平台包括数据读取模块、数据压缩模块、数据存储模块，如图1所示，数据读取模块用于从数据库中读取DNA测序仪的FASTQ数据流，并将数据流导入至数据压缩模块；数据压缩模块将FASTQ数据流分割为元数据、碱基和质量分数三个数据流，采用不同的压缩算法进行数据压缩，然后将压缩后的数据汇总导入至数据存储模块；数据存储模块获得压缩后的数据流，将数据存入数据库中。

数据压缩模块将将FASTQ数据流分割为元数据、碱基和质量分数三个数据流，对不同的数据流采用不同的压缩方法，具体如下：

(1)元数据开始于字符‘@’并通常被空格符分隔成三部分。第一部分为短读ID。第二部分由字符串组成，用来记录如测序设备名，流通池及坐标等信息。最后一部分包含关键字‘length＝’，用来表示短读长度。第一部分及第三部分的元数据对于每个短读来说高度相同或相似，因此仅存储它们一次。每条短读中元数据的第二部分差异较大，这部分数据将被提取并直接使用LZMA(Lempel-Ziv-Markov chain-Algorithm)算法压缩。