[发明专利]数据存储方法、系统、设备和介质

说明书

本发明公开了一种数据存储方法、系统、设备和介质。获取业务流程生成的消息数据，并存储于目标从机；当接收到目标从机反馈的数据存储失败消息时，将消息数据及相关失败信息作为异常信息存储到异常列表中；返回执行数据存储操作，直至达到存储结束条件后，将异常列表包含的全部异常信息写入到目录日志；提取目录日志内的目标异常信息，并处理目标异常信息中的消息数据，基于消息数据的相关失败信息，重新存储处理后的消息数据。本发明实施例提供的方法，实现批量数据存储时监测每条消息数据存储结果，并在消息数据存储失败时，对出错的消息数据再次存储，以在不同从机对相同消息数据进行存储时，确保各从机上所存储消息数据的一致性。

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及一种数据存储方法、系统、设备和介质。

背景技术

当今流行的大数据处理框架中，Spark的应用最为广泛，Spark应用程序将大数据同时写入redis、elasticsearch、hbase和hdfs等多种存储端时，由于大数据写入错误，会产生大数据存储不一致的问题。

Spark框架下为保证大数据一致性存储，目前常见的处理机制仅有两种，一种是利用卡夫卡的消费(offset)做为记录，确定数据处理到具体哪一条，但在后续写入存储端的过程中，无法确保写入各存储端的数据保持一致；另一种是出错重试(retry)机制，在数据写入存储端发生错误后，采用重试的机制保证写入数据的一致性。

然而，上述两种方法并不能完全保证各存储端数据的一致性，由于各存储端在执行批量写入操作时，如果存储数据中存在一小部分数据处理发生错误并未写入，但批量执行的写入操作执行结果仍是成功，导致存储于各存储端的数据不能保持一致的问题。

发明内容

本发明实施例提供一种数据存储方法、系统、设备和介质，以解决大数据框架下，相同数据存储至不同从机时存在数据存储不一致的问题。

第一方面，本发明实施例提供了一种数据存储方法，该方法包括：

获取业务流程生成的消息数据，并将所述消息数据存储于至少一个目标从机；

当接收到至少一个目标从机反馈的数据存储失败消息时，将所述消息数据及相关失败信息作为异常信息存储到预设的异常列表中；

返回执行数据存储操作，直至达到存储结束条件后，将所述异常列表包含的全部异常信息写入到目录日志，并清空所述异常列表；

提取所述目录日志设定时间内的目标异常信息，并处理所述目标异常信息中的消息数据，基于所述目标异常信息中消息数据的相关失败信息，重新存储处理后的消息数据。

第二方面，本发明实施例还提供了一种数据存储系统，该系统包括：

消息数据存储模块，用于获取业务流程生成的消息数据，并将所述消息数据存储于至少一个目标从机；

异常列表生成模块，用于当接收到至少一个目标从机反馈的数据存储失败消息时，将所述消息数据及相关失败信息作为异常信息存储到预设的异常列表中；

目录日志生成模块，用于返回执行数据存储操作，直至达到存储结束条件后，将所述异常列表包含的全部异常信息写入到目录日志，并清空所述异常列表；

消息数据重存储模块，用于提取所述目录日志设定时间内的目标异常信息，并处理所述目标异常信息中的消息数据，基于所述目标异常信息中消息数据的相关失败信息，重新存储处理后的消息数据。

第三方面，本发明实施例还提供了一种设备，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或者多个程序被所述一个或者多个处理器执行，使得所述一个或多个处理器实现如本发明实施例中任一所述的数据存储方法。