[发明专利]日志数据备份方法、装置、设备及存储介质

说明书

本申请提供了一种日志数据备份方法、装置、设备及存储介质，日志数据备份方法包括：从第一集群中每个区域服务的预写日志文件中采集每个区域服务对应的多条日志记录，每个区域服务预先分配有至少一个预分配存储区域，从至少一个预分配存储区域中分别确定每条日志记录对应的目标存储区域，采用目标存储区域对应的目标解析线程，对每条日志记录进行解析处理，得到每条日志记录中的日志数据，对多条日志记录中的日志数据进行备份。采用目标解析线程对日志记录进行解析处理，实现了多线程分片并行处理日志记录，各目标存储区域之间不会互相干扰，使各目标存储区域在串行解析的同时也能保证高吞吐量，并且无需对HBase集群的配置进行额外调整。

技术领域

本申请涉及计算机技术领域，具体而言，涉及一种日志数据备份方法、装置、设备及存储介质。

背景技术

HBase(Hadoop Database)是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在个人电脑服务器上搭建起大规模结构化存储集群。

相关技术中，HBase的预写日志(Write Ahead Log，WAL)机制提供了一种高并发、持久化的日志保存与回放的功能，每次执行业务数据的写入操作时，都会将该数据对应的日志记录在日志文件中，因此，基于HBase的复制(Replication)功能，通过日志文件的获取和回放能够实现HBase集群间的业务数据的同步。

然而，在对日志文件进行备份过程中，需要对HBase集群配置做一定的调整，并且基于Replication功能无法对压缩的日志文件进行解析。

发明内容

本申请的目的在于，针对上述现有技术中的不足，提供一种日志数据备份方法、装置、设备及存储介质，以实现多线程分片并行处理日志记录，各目标存储区域之间不会互相干扰，使各目标存储区域在串行解析的同时也能保证高吞吐量，并且无需对HBase集群的配置进行额外调整。

第一方面，本申请一实施例提供了一种问答模型训练方法，方法包括：

从第一集群中每个区域服务的预写日志文件中采集每个区域服务对应的多条日志记录，其中，每个区域服务预先分配有至少一个预分配存储区域，第一集群为HBase集群；

从至少一个预分配存储区域中分别确定每条日志记录对应的目标存储区域；

采用目标存储区域对应的目标解析线程，对每条日志记录进行解析处理，得到每条日志记录中的日志数据；

对多条日志记录中的日志数据进行备份。

可选地，采用目标存储区域对应的目标解析线程，对每条日志记录进行解析处理，得到每条日志记录中的日志数据，包括：

采用目标解析线程，将每条日志记录反序列化为单位对象；

根据预设的开始字符和读取长度，从单位对象中读取字节数组；

将读取到的字节数组写入预设的数据对象，得到每条日志记录中的日志数据。

可选地，根据预设的开始字符和读取长度，从单位对象中读取字节数组，包括：

根据每个属性特征对应的开始字符和读取长度，从单位对象中读取每个属性特征；字节数组包括：读取到的至少一个属性特征。

可选地，每个区域服务还具有迁移存储区域，迁移存储区域为从其他区域服务迁移的存储区域；

采用目标存储区域对应的目标解析线程，对每条日志记录进行解析处理，得到每条日志记录中的日志数据，包括：

若待解析日志记录对应的目标存储区域为迁移存储区域，获取其他区域服务中最新解析的日志记录的第一序列标识，与待解析日志记录的第二序列标识的偏差；