[发明专利]列式存储数据的组织方法、装置及存储介质

说明书

本发明实施例提出一种列式存储数据的组织方法、装置及计算机可读存储介质。其中列式存储数据的组织方法包括：创建列式存储格式的第一组织文件，所述第一组织文件中包括一个行组；获取多个列式存储格式的待拼接文件的数据；将所述待拼接文件的数据，采用重编码组织方式在所述第一组织文件的所述一个行组中进行拼接。本发明实施例通过拼接列式存储格式的小文件，使得在查询时只需要读单个文件，并且只需要读取一个行组，寻道时间只有一次，从而使查询速度更快，显著减少了因处理大量小文件所导致的数据分析查询时间。

技术领域

本发明涉及信息技术领域，尤其涉及一种列式存储数据的组织方法、装置及计算机可读存储介质。

背景技术

关系型数据是指以关系数学模型来表示的数据，其中，关系数学模型中以二维表的形式来描述数据。关系型数据的数据结构中，通常一行数据由多个属性组成，每个属性是关系表结构中的一列数据。关系型数据库是存储在计算机上的、可共享的、有组织的关系型数据的集合。不同的写文件顺序对应了关系型数据库的不同的存储方式。传统关系型数据库通常采用行式存储。行式存储是将各行放入连续的物理位置，即先存一行数据，再存下一行数据。列式存储是相对于传统关系型数据库的行式存储来说的。列式存储通常将不同数据的同一个属性值存在一起，因为每一个属性在表中是一列数据，所以很直观地将这种存储模型称为列式存储。列存储法的方式主要适合于批量数据处理和即时查询。

对于列式存储文件格式，在数据处理过程中，会产生大量的小文件，进而会导致数据分析查询时间增长。parquet是一种列式存储文件格式，以parquet文件为例，在数据ETL(Extract-Transform-Load，中文名称为数据抽取、交互转换和加载)过程中，为了加快数据产出，会使用多个线程并行产出parquet文件。因此并发越高，产出的文件数量也越多，单个文件大小也越小。如何组织种列式存储数据，以提高数据分析查询的效率，是目前亟待解决的问题。

发明内容

本发明实施例提供一种列式存储数据的组织方法、装置及计算机可读存储介质，以至少解决现有技术中的一个或多个技术问题。

第一方面，本发明实施例提供了一种列式存储数据的组织方法，包括：创建列式存储格式的第一组织文件，所述第一组织文件中包括一个行组；获取多个列式存储格式的待拼接文件的数据；将所述待拼接文件的数据，采用重编码组织方式在所述第一组织文件的所述一个行组中进行拼接。

在一种实施方式中，获取多个列式存储格式的待拼接文件的数据之前，还包括：创建列式存储格式的第二组织文件，所述第二组织文件中包括多个行组。

在一种实施方式中，所述方法还包括：将所述待拼接文件的数据，采用二进制流组织方式在所述第二组织文件中进行拼接；在所述第二组织文件拼接完成后，利用所述第二组织文件作为查询文件；在所述第一组织文件拼接完成后，利用所述第一组织文件替换所述第二组织文件作为查询文件。

在一种实施方式中，获取多个列式存储格式的待拼接文件的数据，包括：将所述待拼接文件的数据读入内存；将所述待拼接文件的数据，采用重编码组织方式在所述第一组织文件的所述一个行组中进行拼接，包括：从内存中调取所述待拼接文件的数据，并将所述待拼接文件的数据在所述第一组织文件的所述一个行组中进行拼接；和/或，将所述待拼接文件的数据，采用二进制流组织方式在所述第二组织文件中进行拼接，包括：从内存中调取所述待拼接文件的数据，并将所述待拼接文件的数据在所述第二组织文件中进行拼接。

在一种实施方式中，将多个所述待拼接文件的数据，采用二进制流组织方式在所述第二组织文件中进行拼接，包括：读取所述待拼接文件的行组，并将所述待拼接文件的行组追加到所述第二组织文件的行组中；更新所述第二组织文件中的底部数据。

在一种实施方式中，更新所述第二组织文件中的底部数据，包括：读取所述待拼接文件的底部数据中的元数据，将所述元数据追加到所述第二组织文件的底部数据的元数据中；更新追加的元数据中的偏移量信息；更新所述第二组织文件的底部数据的长度信息。