[发明专利]一种数据文件的管理方法及装置

说明书

本申请公开了一种数据文件的管理方法及装置。其中，数据文件的管理方法包括：在增量数据存储区达到第一数据文件合并条件时，将增量数据存储区中的各数据文件中每个主键对应的记录片段分别与查找到的主键对应的历史完整记录合并，形成每个主键对应的合并时刻的完整记录；将每个主键对应的合并时刻的完整记录写入完整数据存储区的一个新建的数据文件中，其中，每个主键对应的合并时刻的完整记录作为在完整数据存储区精确查询主键的输出结果。通过上述方式，本申请能够使主键的记录集中化，为在完整数据存储区主键精确查询减少IO开销。

技术领域

本发明涉及一种数据文件的管理方法及装置。

背景技术

数据库分为关系型数据库和非关系型数据库(Not Only SQL，NoSQL)，NoSQL是对所有不同于传统的关系型数据库的统称。NoSQL数据存储可以不需要固定的表格模式，通常以键值对存储。目前多数NoSQL的数据存储以日志结构合并树(Log-Structured Merge-Tree，LSM-tree)为基础，提出一种延迟更新、批量写入硬盘的数据结构及其算法。LSM-tree通过将很多小文件的存取转换为连续的大批量传输，使得对于文件系统的大多数存取都是顺序性的，从而提高磁盘带宽利用率，最小化系统的存取性能的开销，特别适用于会产生大量插入操作的应用环境。所以，以LSM-tree为基础的NoSQL也被称为增量数据库。

LSM-tree由至少两个部件构成。一个部件常驻内存，称为C0树（或C0），可以为任何方便键值查找的数据结构，其他部件常驻硬盘之中，称为C1......CK树（或C1......CK），C1......CK中经常被访问的结点也将会被缓存在主存中。增量数据库采用增量写模式，即数据库新增记录或者更新记录，首先放入内存数据结构（如主存内数据表，Memory Table，Memtable）中，即C0树，它达到一定大小形成一个小数据文件（如有序字符串表，SortedString Table，Sstable）刷入硬盘数据结构，即C1......CK树，内部主键(Rowkey)有序排列。这样的文件将不可修改。查询时，则需要分别从这些小数据文件查询Rowkey记录片段，共同构成一条完整Rowkey记录。

采用增量写模式，一条完整Rowkey记录在存储上可以是离散在不同数据文件的Rowkey记录片段构成。这样，导致一次Rowkey精确查询需要多次存储器输入/输出(Input/Output，IO)消耗。

发明内容

本发明主要解决的技术问题是提供一种数据文件的管理方法及装置，能够使Rowkey由增量存储区的离散状态变为完整数据存储区的集中状态，为在完整数据存储区Rowkey精确查询减少IO开销。

本申请第一方面，提供一种数据文件的管理方法，包括：在增量数据存储区达到第一数据文件合并条件时，将所述增量数据存储区中的各数据文件中每个主键对应的记录片段分别与查找到的所述主键对应的历史完整记录合并，形成所述每个主键对应的合并时刻的完整记录；将所述每个主键对应的所述合并时刻的完整记录写入完整数据存储区的一个新建的数据文件中，其中，所述每个主键对应的所述合并时刻的完整记录作为在所述完整数据存储区精确查询所述主键的输出结果。

结合第一方面，在第一方面的第一种可能的实现方式中：所述方法还包括：将所述每个主键对应的所述合并时刻的完整记录写入主存。

结合第一方面或第一方面的的第一种可能的实现方式，在第一方面的第二种可能的实现方式中：所述方法还包括：在所述完整数据存储区达到第二数据文件合并条件时，对所述完整数据存储区中保存的包含各合并时刻的完整记录的各数据文件进行合并，删除所述完整数据存储区的每个所述主键的冗余记录。