[发明专利]计算节点数据容灾回放的方法、终端设备及存储介质

权利要求书

1.一种计算节点数据容灾回放的方法，其特征在于：包括如下过程：

设置磁盘目录的过程：设置WAL日志文件和检查点文件所存储的磁盘目录，使得能够利用多线程并行操作的方式进行WAL日志文件的读写和提升检查点文件的可用性，其中检查点文件用于数据回放时WAL日志文件的定位；

设置检查点文件备份的频率的过程：根据计算节点的数据处理速度设置检查点文件备份的频率；

数据进入计算节点的过程：先将数据的数据体插入计算节点内存的主队列的尾部，然后将该数据的入队信息，记录到设置磁盘目录的过程中设置的WAL日志文件的磁盘目录下的对应WAL日志文件中，再将WAL日志文件对应的文件ID和在磁盘的偏移位置记录到计算节点内存的从队列中，作为从队列数据，最后按照设置检查点文件备份的频率的过程中设置的检查点文件备份的频率，定期将计算节点内存的从队列中的从队列数据直接复制，该从队列数据作为检查点文件存储到设置磁盘目录的过程中设置的磁盘目录下，并删除原检查点文件中的数据，进行检查点文件备份；

数据被计算节点处理的过程：先从计算节点内存的主队列头部删除数据体，再往WAL日志文件中写入一条处理删除记录，并删除掉计算节点内存的从队列头部的该条数据体对应的从队列数据，若数据处理过程失败，需将删除的该条数据体 恢复，则按照数据进入计算节点的过程对数据进行恢复；

计算节点异常时的数据回放的过程：当计算节点异常时，根据检查点文件对WAL日志文件进行定位，进行数据的恢复。

2.如权利要求1所述的计算节点数据容灾回放的方法，其特征在于：设置磁盘目录的过程中，WAL日志文件所存储的磁盘目录为多个本地磁盘目录或分布式文件系统的目录，检查点文件所存储的磁盘目录为本地磁盘目录或分布式文件系统的目录。

3.如权利要求2所述的计算节点数据容灾回放的方法，其特征在于：数据进入计算节点的过程和数据被计算节点处理的过程中，对WAL日志文件的读写为多线程并行操作的方式。

4.如权利要求1所述的计算节点数据容灾回放的方法，其特征在于：计算节点异常时的数据回放的过程中，当计算节点异常时，根据检查点文件对WAL日志文件进行定位，进行数据的恢复，具体为：

将检查点文件中的检查点文件数据加载到从队列中，然后根据加载的从队列数据的信息，定位到对应的WAL日志文件，从WAL日志文件中加载需恢复的数据体到主队列中，直至数据全部恢复完毕。

5.如权利要求1所述的计算节点数据容灾回放的方法，其特征在于：WAL日志文件的文件ID命名方式为：目录级别数字-目录1-目录2...目录n-当前时间戳，使得能够根据文件ID得到WAL日志文件的存储目录，进而能够进行读写访问。

6.一种计算节点数据容灾回放的终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序时实现如权利要求1-5所述方法的过程。

7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1-5所述方法的过程。