[发明专利]一种实时变换数据存储方法、装置、电子设备及存储介质

权利要求书

1.一种实时变换数据存储方法，其特征在于，包括：

获取实时变换数据；

将所述实时变换数据转换为预写式日志数据块；

获取所述预写式日志数据块的操作标识；

根据所述操作标识合并所述预写式日志数据块，得到合并数据块；

对所述合并数据块进行压缩，得到列式数据块；

存储所述列式数据块。

2.根据权利要求1所述的方法，其特征在于，所述将所述实时变换数据转换为预写式日志数据块的步骤，包括：

将所述实时变换数据转换为多个预写式日志；

按照时间顺序，将多个所述预写式日志进行排序；

按照预设分块时长对排序后的多个所述预写式日志进行分块，得到预写式日志数据块。

3.根据权利要求2所述的方法，其特征在于，所述对所述合并数据块进行压缩，得到列式数据块的步骤之后，还包括：

提取所述预写式日志的核心指标摘要；

基于所述核心指标摘要生成数据清单；

生成所述预写式日志的快照文件；

基于所述快照文件生成快照清单；

采用所述数据清单和所述快照清单生成数据清单列表，并保存所述数据清单列表。

4.根据权利要求3所述的方法，其特征在于，还包括：

当接收到数据查询请求时，从所述数据清单列表中，获取满足预设条件的目标数据清单和目标快照清单；

基于所述目标数据清单和所述目标快照清单，确定目标数据块；

获取所述目标数据块的文件路径；

基于所述文件路径加载所述目标数据块；

按照时间序列对所述目标数据块进行排序，得到查询数据。

5.根据权利要求4所述的方法，其特征在于，所述基于所述目标数据清单和所述目标快照清单，确定目标数据块的步骤，包括：

根据所述目标快照清单确定阻断时间点；

从所述数据查询请求中获取要求时间；

将处于所述阻断时间点和所述要求时间之间的列式数据块确定为目标数据块。

6.一种实时变换数据存储装置，其特征在于，包括：

实时变换数据获取模块，用于获取实时变换数据；

转换模块，用于将所述实时变换数据转换为预写式日志数据块；

操作标识获取模块，用于获取所述预写式日志数据块的操作标识；

合并模块，用于根据所述操作标识合并所述预写式日志数据块，得到合并数据块；

压缩模块，用于对所述合并数据块进行压缩，得到列式数据块；

存储模块，用于存储所述列式数据块。

7.根据权利要求6所述的装置，其特征在于，所述转换模块，包括：

预写式日志转换子模块，用于将所述实时变换数据转换为多个预写式日志；

排序子模块，用于按照时间顺序，将多个所述预写式日志进行排序；

分块子模块，用于按照预设分块时长对排序后的多个所述预写式日志进行分块，得到预写式日志数据块。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

提取模块，用于提取所述预写式日志的核心指标摘要；

数据清单生成模块，用于基于所述核心指标摘要生成数据清单；

快照文件生成模块，用于生成所述预写式日志的快照文件；

快照清单生成模块，用于基于所述快照文件生成快照清单；

数据清单列表生成模块，用于采用所述数据清单和所述快照清单生成数据清单列表，并保存所述数据清单列表。

9.一种电子设备，其特征在于，所述设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行权利要求1-5任一项所述的实时变换数据存储方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-5任一项所述的实时变换数据存储方法。