[发明专利]一种数据处理的方法和装置

说明书

技术领域

本发明实施例涉及数据处理领域，尤其涉及一种脱氧核糖核酸测序数据的划分处理方法和装置。

背景技术

脱氧核糖核酸(Deoxyribonucleic Acid，DNA)是一种长链聚合物，由四种脱氧核苷酸组成。脱氧核苷酸由脱氧核糖、磷酸和碱基组成，其中脱氧核糖和磷酸由酯键相连，组成外侧的长链骨架，每个脱氧核糖分子在内侧与四种碱基里的其中一种相接。这些碱基沿着DNA长链排列而形成序列，是蛋白质氨基酸序列合成的依据。组成脱氧核醣核酸的碱基，分別是腺嘌呤、胸腺嘧啶、胞嘧啶与鸟嘌呤。DNA是双链结构，即一条链上的碱基会与另一条链对应位置的碱基配对出现，一般以碱基作为DNA的长度单位。在计算机系统中，分别以字符A、T、C、G表示四种碱基，每个字符占用1个字节，因此也以字节作为碱基序列的长度单位。

随着DNA测序技术的进步，基因分析已成为检测和针对性治疗遗传/突变类疾病的重要手段。基因分析由三个必要阶段构成：DNA测序，DNA序列拼装与变异识别，以及基因注释与分析。

DNA测序是从DNA分子中准确测定核苷酸排列顺序的过程。由于核苷酸的类型主要由碱基决定，因此测序实质上只需确定碱基的排列顺序。为了提升测序速度，待测基因组会被打断成数十到数百碱基长度的片断，然后由测序仪对几十到几百万条片断进行同时测序，测序后的数十到数百碱基长度的DNA片断称为读串(Read)。另一方面，为了提升测序的准确度和覆盖度(Coverage)，高通量测序通常会对待测基因组的目标区域进行重复测序以增加测序深度(Sequence Depth)。所谓覆盖度是指测序获得的序列占目标区域的比例。由于基因组中重复序列等复杂结构的存在，测序最终拼接组装获得的序列往往无法覆盖所有的区域，这部分没有覆盖的区域就称为间隙(Gap)。所谓测序深度是指测序得到的总碱基数与待测基因组大小的比值。

DNA序列拼装与变异识别是利用计算机方法将测序仪输出的碱基序列读串拼装为DNA序列，并通过比对待测基因组的参考序列发现变异碱基位点的过程。读串需要回贴(Mapping)到参考序列才能确定其在待测基因组中的原始坐标。由于人类DNA本身有很多重复碱基序列，部分读串可能被回贴到多个位置。SAM(Sequence Alignment/Map)格式是一种通用的比对格式，用来存储读串到参考序列的比对信息。在SAM文件中，除注释行外，每一行包含一个读串及其比对信息，比如，读串被回贴到的染色体编号，以及读串被回贴到的染色体的第一个起始位置，这些信息就是读串在参考序列上的坐标。SAM文件中的数据记录称为SAM数据(SAM Records)。

基因注释与分析是指通过生物信息学方法，结合蛋白组学、转录组学，分析测序结果，识别基因及其功能，并挖掘变异点与相关疾病之间的关系。

在基因分析的上述三个必要阶段中，DNA序列拼装与变异识别是涉及生物领域较少且需要大量计算开销的环节。在实际中由于DNA测序在各染色体区域的测序深度不同以及测序数据在经过若干步骤后处理结果的分布不均等诸多可能因素，常常导致DNA序列拼装与变异识别环节不能合理地分配计算资源对DNA测序环节的结果进行分析。

发明内容

本发明的实施例提供一种数据处理的方法和装置，用以合理地提高待处理数据的执行并行度，提高数据处理的速度和效率。

为达到上述目的，本发明的实施例采用如下技术方案：

在第一方面，本发明实施例提供了一种数据处理方法，应用于数据处理系统，数据处理系统包含参考样本和第一样本集合，参考样本包括根据预置顺序排列的至少两个基本元素，第一样本集合包括至少一个样本片断，样本片断包括从参考样本中截取的至少一个基本元素，包括：遍历第一样本集合中的全部样本片断，统计参考样本的每个基本元素包含于样本片断的第一统计量，确定第一统计量小于第一阈值的基本元素在参考样本中的位置为间隔位置；将参考样本划分成至少两个子参考样本，划分的划分点包括不与其它间隔位置相邻的间隔位置以及相邻的至少两个间隔位置中的任一间隔位置；遍历第一样本集合中的全部样本片断，统计参考样本的每个子参考样本包含样本片断的第二统计量；当任意相邻的子参考样本的第二统计量之和小于第二阈值时，合并相邻的子参考样本。

在第一方面的一种可行的实施方式中，统计参考样本的每个基本元素包含于样本片断的第一统计量，包括：遍历参考样本的全部基本元素，当基本元素包含于样本片断时，基本元素的第一统计量加1。