[发明专利]计算节点数据容灾回放的方法、终端设备及存储介质

说明书

本发明公开一种计算节点数据容灾回放的方法，包括如下过程，设置磁盘目录的过程，设置检查点文件备份的频率的过程，数据进入计算节点的过程，数据被计算节点处理的过程，计算节点异常时的数据回放的过程。一种计算节点数据容灾回放的终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现计算节点数据容灾回放的方法的步骤。一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现计算节点数据容灾回放的方法的步骤。不仅实现了计算节点的高性能数据容灾问题，还解决了在数据恢复回放的时效问题。

技术领域

本发明涉及数据处理技术领域，具体是一种计算节点数据容灾回放的方法、终端设备及存储介质。

背景技术

随着海量数据时代的来临，数据的计算能力和数据的容灾已经成为软件系统架构中必不可少的指标。而对于数据的计算能力，可通过在系统架构层面通过分布式负载均衡等手段实现计算节点的水平扩展，从而达到计算能力的无限提升。然而对于如何保证每个计算节点上的数据容灾和回放，也成为了业界所关注的焦点。

传统计算节点上的数据容灾，绝大多数都是通过将缓存在队列中的数据利用WAL(write-ahead-log)，即将数据插入到队列前记录一条日志到一个磁盘文件中，通过将日志持久化到磁盘文件上进行计算节点上的数据高可用。此种方式虽然保证了计算节点的数据高可用，但是在写记录到磁盘文件的时候，由于是统一写到一个磁盘文件，必然会存在着并发写入的I/O性能问题，另外，当出现异常情况，需要恢复计算节点的数据时，需要进行“全回放”，也就是将整个磁盘文件中所有的记录进行一条条的加载，在计算节点运行时间较长、计算的数据较大的情况下，整个磁盘文件的历史记录是非常大的，并且可能大部分记录是无用的过时记录，进行“全回放”不仅做了很多的无用功，而且回放的效率是极其的低下。尽管可以恢复所有的数据，但恢复的时效往往不尽人意。

发明内容

为了解决上述问题，本发明提供一种计算节点数据容灾回放的方法、终端设备及存储介质，通过对传统的WAL日志文件写记录的机制进行改进，利用多线程并行操作磁盘的方式进行日志记录，并整合内存主从数据队列的策略，以及引入了数据定期检查点迁出和检查点的备份机制，使得回放的时候可优先根据检查点进行WAL日志文件的定位，并针对定位标识之后的WAL日志文件中有效数据进行回放，而不用回放那些在WAL日志文件中已经无效的数据。不仅实现了计算节点的高性能数据容灾问题，还解决了在数据恢复回放的时效问题。

本发明一种计算节点数据容灾回放的方法，包括如下过程：

设置磁盘目录的过程：设置WAL日志文件和检查点文件所存储的磁盘目录，使得能够利用多线程并行操作的方式进行WAL日志文件的读写和提升检查点文件的可用性，其中检查点文件用于数据回放时WAL日志文件的定位；

设置检查点文件备份的频率的过程：根据计算节点的数据处理速度设置检查点文件备份的频率；

数据进入计算节点的过程：先将数据的数据体插入计算节点内存的主队列的尾部，然后将该数据的入队信息，记录到设置磁盘目录的过程中设置的WAL日志文件的磁盘目录下的对应WAL日志文件中，再将WAL日志文件对应的文件ID和在磁盘的偏移位置记录到计算节点内存的从队列中，作为从队列数据，最后按照设置检查点文件备份的频率的过程中设置的检查点文件备份的频率，定期将计算节点内存的从队列中的从队列数据直接复制，该从队列数据作为检查点文件存储到设置磁盘目录的过程中设置的磁盘目录下，并删除原检查点文件中的数据，进行检查点文件备份；

数据被计算节点处理的过程：先从计算节点内存的主队列头部删除该条数据体，再往WAL日志文件中写入一条处理删除记录，并删除掉计算节点内存的从队列头部的该条数据体对应的从队列数据，若数据处理过程失败，需将删除的该条数据恢复，则按照数据进入计算节点的过程对数据进行恢复；