[发明专利]一种实时变换数据存储方法、装置、电子设备及存储介质

说明书

本发明公开了一种实时变换数据存储方法、装置、电子设备及存储介质，用于解决现有的实时数据的存储方式数据处理效率较低的技术问题。其中，方法包括：获取实时变换数据；将实时变换数据转换为预写式日志数据块；获取预写式日志数据块的操作标识；根据操作标识合并预写式日志数据块，得到合并数据块；对合并数据块进行压缩，得到列式数据块；存储列式数据块。

技术领域

本发明涉及数据存储技术领域，尤其涉及一种实时变换数据存储方法、装置、电子设备及存储介质。

背景技术

随着信息技术的发展和普及，用户产生的数据会越来越多，对数据的实时要求也更高，需要大规模地、高效地存储实时数据。

以游戏产品为例，可以包含两类数据，一类是大量的聊天数据，一类是游戏房间的画像数据。其中聊天类的数据，包含文字、图片、音视频，是流水数据，会随着聊天的进行不断新增，并且已经产生的数据不会再发生变化。游戏房间的画像数据，则是不断变化的，随着游戏进度的同步，房间人员的流动时刻会发生变化。

在匹配游戏玩家的过程中，产生的数据多，且实时延迟要求高，如果数据处理速度不如数据生产速度，就会出现数据堆积的情况，造成数据处理延迟，从而造成用户漫长的无畏等待。为了防止用户在漫长的无畏等待中离开，目前主要会采用跳帧的方式，直接抛弃延迟超过容忍时间的数据。但由于抛弃了部分数据，匹配的精准度会下降，使得用户体验大打折扣，同时，为了最大化处理速度，过程数据会采用内存性数据库进行短暂的存储，而不是实时的永久性存储，由此导致实时计算的数据不具备可靠性和完整性，给后续的数据分析造成了一定的障碍。

发明内容

本发明提供了一种实时变换数据存储方法、装置、电子设备及存储介质，用于解决现有的实时数据的存储方式数据处理效率较低的技术问题。

本发明提供了一种实时变换数据存储方法，包括：

获取实时变换数据；

将所述实时变换数据转换为预写式日志数据块；

获取所述预写式日志数据块的操作标识；

根据所述操作标识合并所述预写式日志数据块，得到合并数据块；

对所述合并数据块进行压缩，得到列式数据块；

存储所述列式数据块。

可选地，所述将所述实时变换数据转换为预写式日志数据块的步骤，包括：

将所述实时变换数据转换为多个预写式日志；

按照时间顺序，将多个所述预写式日志进行排序；

按照预设分块时长对排序后的多个所述预写式日志进行分块，得到预写式日志数据块。

可选地，所述对所述合并数据块进行压缩，得到列式数据块的步骤之后，还包括：

提取所述预写式日志的核心指标摘要；

基于所述核心指标摘要生成数据清单；

生成所述预写式日志的快照文件；

基于所述快照文件生成快照清单；

采用所述数据清单和所述快照清单生成数据清单列表，并保存所述数据清单列表。

可选地，还包括：

当接收到数据查询请求时，从所述数据清单列表中，获取满足预设条件的目标数据清单和目标快照清单；

基于所述目标数据清单和所述目标快照清单，确定目标数据块；

获取所述目标数据块的文件路径；

基于所述文件路径加载所述目标数据块；