[发明专利]数据存储方法、系统、设备和介质

权利要求书

1.一种数据存储方法，应用于大数据处理框架，所述大数据处理框架包括一个主机及至少一个从机，其特征在于，包括：

获取业务流程生成的消息数据，并将所述消息数据存储于至少一个目标从机；

当接收到至少一个目标从机反馈的数据存储失败消息时，将所述消息数据及相关失败信息作为异常信息存储到预设的异常列表中；

返回执行数据存储操作，直至达到存储结束条件后，将所述异常列表包含的全部异常信息写入到目录日志，并清空所述异常列表；

提取所述目录日志设定时间内的目标异常信息，并处理所述目标异常信息中的消息数据，基于所述目标异常信息中消息数据的相关失败信息，重新存储处理后的消息数据。

2.根据权利要求1所述的方法，其特征在于，在将所述消息数据存储于至少一个目标从机之前，还包括：

确定存储所述消息数据对应的至少一个目标从机，获取各所述目标从机具备的标准存储格式；

根据各所述标准存储格式对所述消息数据进行处理，以使所述消息数据满足各所述目标从机的存储要求。

3.根据权利要求1所述的方法，其特征在于，在将所述消息数据存储于至少一个目标从机之前之前，还包括：

以设定时间间隔检测各所述目标从机的工作状态；

当存在工作状态异常的异常目标从机时，修复所述异常目标从机或等待所述目标从机恢复正常。

4.根据权利要求1所述的方法，其特征在于，所述将所述异常列表包含的全部异常信息写入到目录日志，包括：

根据各所述异常信息中消息数据的相关失败信息，确定相应消息数据的出错时间；

基于各所述出错时间，顺序将相应异常信息按照预设的日志数据格式写入到目标日志。

5.根据权利要求4所述的方法，其特征在于，所述处理所述目标异常信息中的消息数据，包括：

判断所述目标异常信息中的消息数据是否能够转换成目标从机具备的标准存储格式；

若是，则对所述目标异常信息中的消息数据进行存储格式转换，获得处理后消息数据；

若否，则将所述目标异常信息中的消息数据存储至设定文件，并将所述设定文件的文件路径作为处理后的消息数据。

6.一种数据存储系统，配置于大数据处理框架，所述大数据处理框架包括一个主机及至少一个从机，其特征在于，包括：

消息数据存储模块，用于获取业务流程生成的消息数据，并将所述消息数据存储于至少一个目标从机；

异常列表生成模块，用于当接收到至少一个目标从机反馈的数据存储失败消息时，将所述消息数据及相关失败信息作为异常信息存储到预设的异常列表中；

目录日志生成模块，用于返回执行数据存储操作，直至达到存储结束条件后，将所述异常列表包含的全部异常信息写入到目录日志，并清空所述异常列表；

消息数据重存储模块，用于提取所述目录日志设定时间内的目标异常信息，并处理所述目标异常信息中的消息数据，基于所述目标异常信息中消息数据的相关失败信息，重新存储处理后的消息数据。

7.根据权利要求6所述的系统，其特征在于，所述系统还包括：

存储格式获取模块，用于确定存储所述消息数据对应的至少一个目标从机，获取各所述目标从机具备的标准存储格式；

数据处理模块，用于根据各所述标准存储格式对所述消息数据进行处理，以使所述消息数据满足各所述目标从机的存储要求。

8.根据权利要求6所述的系统，其特征在于，所述系统还包括：

工作状态检测模块，用于以设定时间间隔检测各所述目标从机的工作状态；

状态异常处理模块，用于当存在工作状态异常的异常目标从机时，修复所述异常目标从机或等待所述目标从机恢复正常。

9.一种设备，其特征在于，所述设备包括：

一个或者多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的数据存储方法。

10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-5中任一所述的数据存储方法。