[发明专利]用于对各种各样的表列数据进行有效压缩、表示和解压缩的系统和方法

说明书

一种用于控制数据压缩的方法包括：访问呈多种第一文件格式中的一种第一文件格式的基因组注释数据；从所述基因组注释数据中提取属性；将所述基因组注释数据划分成块；并且将所提取的属性和块处理成相关信息。所述方法还包括：针对在所述相关信息中标识的所述属性和所述块来选择不同压缩器；并且生成呈第二文件格式的文件，所述呈第二文件格式的文件包括所述相关信息和指示用于在所述相关信息中指示的所述属性和所述块的所述不同压缩器的信息。指示所述不同压缩器的所述信息被处理成所述第二文件格式，以允许对在相关信息中指示的所述属性和所述块的选择性解压缩。

相关申请的交叉引用

本申请与2019年10月18日提交的美国临时专利申请US 62/923141相关，相关，出于所有目的，通过引用将其全部内容并入本文。

本申请与2019年10月18日提交的美国临时专利申请US 62/923113有关，出于所有目的，通过引用将其全部内容并入本文。

本申请与同本申请同时提交的标题为“Customizable Delimited TextCompression Framework”美国临时专利申请US 62/956941(代理人案卷号2019P00831US01)相关，出于所有目的，通过引用将其全部内容并入本文。

技术领域

本文中的一个或多个实施例涉及对信息的压缩和解压缩的管理，这些信息包括但不限于表列数据和分隔文本文件。

背景技术

基因组数据已被证明对许多研究应用是重要的。当处于原始形式时，基因组数据可以包括大量的测序基因组。在一些情况下，序列数量巨大而难以管理。因此，已经进行了各种尝试来从原始数据提取或更好地解读相关信息。

一种处理技术涉及使用注释工具。这种工具可以用于定义基因组数据中的编码区域及其对应位置。注释还可以提供对重复区域的数量和空间分布的指示，这种指示可以传达关于疾病和遗传异常的信息。一些基因组注释数据的示例包括映射统计数据、定量浏览器跟踪、变体、基因组功能注释、基因表达数据以及Hi-C接触矩阵。

目前以各种文件格式表示注释数据(和其他基因组相关信息)，例如，变体调用格式(VCF)、浏览器可扩展数据(BED)格式，以及Wiggle(WIG)格式。这些格式彼此并不兼容。因此，使用这些格式会造成与互操作性有关的问题，并且需要在格式之间执行频繁的转换，以便允许对数据进行可视化。而且，缺乏单一的统一的标准化格式已经抑制了压缩算法上的工作，并且导致次优压缩算法(例如，gzip)的广泛使用。

与现有的用于压缩基因组信息的算法相关联的缺点涉及缺乏选择性等。例如，基因组注释数据通常包括具有不同统计特性的多个字段(属性)。现有算法将所有字段压缩在一起，这丧失了选择性地标识、使用和提取各个数据字段中的信息的能力。而且，现有算法不允许提取特定字段而不对所有属性进行解压缩。

其他缺点涉及现有的压缩方法无法通用。例如，这些方法仅依赖于一个标准压缩器或一小组标准压缩器，这使得它们仅适用于一种类型的注释数据。这些方法也无法执行选择性加密，也无法彼此链接多个注释数据集和将注释数据集链接到测序数据。已经提出了一些专用方法。然而，这些方法中的许多方法基于以磁盘为基础的阵列管理工具(例如，TileDB和HDF5)，这种以磁盘为基础的阵列管理工具缺乏高级特征，例如包括但不限于元数据，链接和属性特异性索引处理。

发明内容

下面给出了各种示例实施例的简要概述。在以下概述中可以做出一些简化和省略，这旨在突出和介绍各种示例实施例的一些方面，而不是限制本发明的范围。足以允许本领域普通技术人员制造和使用这些示例实施例的实施例详细描述将在后面的章节中进行。