[发明专利]一种日志写入及同步方法、装置、系统、计算机存储介质

说明书

本发明公开了一种日志写入方法及装置、系统、计算机存储介质，所述方法包括：从日志盘的变量区中读取已写入日志的终点页编号；将日志写入所述终点页编号所对应的数据区页面中，形成日志页；获取所述日志页对应的写入位置和日志页所属的数据区段编号，将所述日志页对应的写入位置和日志页所属的数据区段编号存储至日志盘的位图区中；在所述日志盘的变量区中，将所述已写入日志的终点页编号加1，并判断日志是否已写到日志盘的盘尾；如果日志已写到日志盘的盘尾，则将已写入日志的终点设置为盘头。

技术领域

本发明涉及计算机存储领域，尤其涉及一种基于固态硬盘的日志写入及同步方法、装置、系统、计算机存储介质。

背景技术

在存储系统中，高可靠、高性能以及低成本是最重要的，也是相互矛盾的三大指标。日志(Journal)技术是保证系统高可靠和高性能的有效手段。很多存储系统引入了日志技术，如EXT3、EXT4、XFS、JFS、F2FS、NTFS、Btrfs、CEPH等。

在日志技术中，存储系统对数据的操作(包括创建、追加、修改、删除等)都被首先封装成日志，并记录到日志盘中。每隔一定时间(或日志盘即将写满)，存储系统会根据日志，将数据内容真正写入数据盘，该过程称为日志同步(sync)。最后一条被写入磁盘的日志被称为检查点，检查点之前的日志全部删除，检查点之后开始新日志记录周期。当发生系统错误时(如掉电)，则在下次系统启动时就会通过日志同步将未完成的数据修改操作持久化到硬盘，这个过程一般只需要几秒钟(如常见的windows操作系统断电重启的磁盘检查)。因此，当数据修改操作被记录到日志盘时，无须实际写入数据盘，即可认为写入成功。

在存储系统中，一种常规的平衡性能与成本的做法是使用固态硬盘(SolidStateDrives，简称为SSD)作为日志盘，使用传统硬盘(Hard Disk Drive，简称为HDD)作为数据盘。由于每次写入操作首先为写入日志，即写入固态硬盘，可以充分发挥性能优势。固态硬盘一方面起到了缓存的作用，另一方面相较于内存作为缓存，固态硬盘具有非易失性的特点，因此比传统缓存可靠。在系统闲时将日志同步，数据异步写入磁盘，对上层应用屏蔽了时延。

在单机系统中，如图1所示，单个数据盘的日志均存储在单独的日志盘，日志盘\数据盘配比为1:1会带来高昂的成本。后来，为了降低成本，如图2所示，数据盘被分区，小分区作为日志盘，大分区作为数据盘。在大规模集群存储环境中，如图3所示，会采用单盘作为日志盘，同时被分区使用，即单个数据盘的日志存储在单独的日志盘分区中。这种在大规模集群存储环境中照搬单机系统的日志方案，虽然使得同一数据盘的日志集中存放，但是存在如下问题：

问题1：系统扩展性差。日志盘分区导致系统扩展性差，分区数量难以随意增减，因此系统规模无法扩展。

问题2：存储空间不均衡。各数据盘的繁忙程度不同，导致无法均衡各日志盘分区的存储空间，造成个别日志盘分区空间浪费，个别日志盘分区饱和。

问题3：损害固态硬盘寿命。传统日志技术针对磁盘特性进行设计，近年来固态硬盘发展迅速，被广泛应用于日志盘。但日志技术鲜有针对固态硬盘特性的优化改进。旧的日志技术在写入时以原地更新的方式，该种方式未考虑固态硬盘的写前擦除特性，因而对固态硬盘的寿命产生较大的负面影响，也即造成了存储系统的成本高昂。

问题4：日志写入效率低下。在日志写入时，以时间排序，而非以分区为单位进行，因此需要不断地在不同的分区切换，大量的随机写造成性能低下。

面对上述问题，业界典型的解决思路是将多日志盘(或日志盘分区)“池化”，例如采用哈希算法使得日志盘各分区的负载均衡。又如通过设置一个Hash链表，用于记录日志数据在日志盘中的位置地址信息。再如采用链式方式组织写入的日志。以上方案的共同特点是将不同数据盘的日志混合存储，通过均衡算法使得日志在各分区分布均衡。这种技术方案很好地解决了问题1、2，但无法解决问题3、4，同时带来了新的问题：