[发明专利]数据缓存方法、装置、设备及存储介质

说明书

本申请涉及一种数据缓存方法、装置、设备及存储介质，所述方法包括：将磁盘文件中的备份数据备份至备份服务器的过程中，产生的增量数据包添加至增量发送队列中；增量数据包表示备份数据的变化数据；若增量发送队列的数据量大于或等于预设的第一数据量阈值，则获取并存储备份数据的变化参数；变化参数用于描述备份数据中的变化数据；在增量发送队列存在空余空间的情况下，根据变化参数获取对应的目标增量数据包，并将目标增量数据包添加至增量发送队列中。本申请实施例提供的技术方案可以提高数据实时备份的成功率。

技术领域

本申请涉及网络技术领域，特别是涉及一种数据缓存方法、装置、设备及存储介质。

背景技术

在数据实时备份的过程中，生产端主机将变化数据发送到备份服务器中进行实时同步，而当生产端主机产生变化数据产生的速度超过了向备份服务器发送数据速度，生产端主机就需要将变化数据在本地进行缓存。

在进行本地缓存时，传统的变化数据缓存方式通常是将本地外存磁盘空间或者内存缓冲队列作为缓冲区，在缓冲区内进行变化数据的缓存。

然而，上述变化数据缓存方式在变化数据产生的速度一直超过发送数据的速度的情况下，就会导致缓冲区溢出，从而使得数据实时备份过程被中断，产生数据丢失的风险，降低了数据实时备份的成功率。

发明内容

基于此，本申请实施例提供了一种数据缓存方法、装置、设备及存储介质，可以提高数据实时备份的成功率。

第一方面，提供了一种数据缓存方法，该方法包括：

将磁盘文件中的备份数据备份至备份服务器的过程中，产生的增量数据包添加至增量发送队列中；增量数据包表示备份数据的变化数据；若增量发送队列的数据量大于或等于预设的第一数据量阈值，则获取并存储备份数据的变化参数；变化参数用于描述备份数据中的变化数据；在增量发送队列存在空余空间的情况下，根据变化参数获取对应的目标增量数据包，并将目标增量数据包添加至增量发送队列中。

在其中一个实施例中，变化参数包括元数据和变化数据位图；获取并存储备份数据的变化参数，包括：

从磁盘的写输入输出包中获取元数据，并将元数据存储至增量元数据队列中；若增量元数据队列的数据量大于或等于预设的第二数据量阈值，则根据备份数据的变化数据生成变化数据位图，并将变化数据位图存储至内存映射文件中。

在其中一个实施例中，根据变化参数获取对应的目标增量数据包，并将目标增量数据包添加至增量发送队列中，包括：

根据元数据从对应的备份数据中获取目标增量数据包，并将目标增量数据包添加至增量发送队列中；元数据包括输入输出包写入的时间戳、磁盘名、在磁盘中的偏移以及变化数据的长度；若增量元数据队列的数据量大于或等于预设的第二数据量阈值，则根据变化数据位图获取目标增量数据包，并将目标增量数据包添加至增量发送队列中。

在其中一个实施例中，根据变化数据位图获取目标增量数据包，并将目标增量数据包添加至增量发送队列中，包括：

在增量元数据队列为空的情况下，调用CBT处理线程根据变化数据位图的有效数据位从备份数据中获取目标增量数据包，并将目标增量数据包添加至增量发送队列中。

在其中一个实施例中，上述方法还包括：

若增量元数据队列的数据量小于第二数据量阈值，则获取新的元数据，并将新的元数据存储至临时缓存队列中；新的元数据为CBT处理线程执行期间备份数据产生的元数据；若CBT处理线程执行完毕，则将临时缓存队列中的新的元数据添加至增量元数据队列。

在其中一个实施例中，上述方法还包括：

若CBT处理线程执行完毕，则释放内存映射文件对应的存储资源。

在其中一个实施例中，上述方法还包括：