[发明专利]数据存储方法、装置、设备及存储介质

说明书

本申请涉及一种数据存储方法、装置、设备及存储介质。该方法包括获取数据存储请求；确定与所述数据存储请求对应的主题参数；当监测到与所述主题参数对应的kafka消息队列未存在异常时，获取所述数据存储请求中的业务数据，并将所述业务数据存入所述kafka消息队列。由于存储业务数据的kafka消息队列为未存在异常的消息队列，所以在将业务数据存入kafka消息队列时，不会出现由于kafka消息队列异常导致的数据丢失的问题。

技术领域

本申请涉及计算机领域，尤其涉及一种数据存储方法、装置、设备及存储介质。

背景技术

随着各大公司对数据的实时性要求越来越高，实时存储在各大公司已经非常普遍。当前通过kafka消息队列实现对数据的实时存储。具体实现时，设备获取数据后，直接将数据存入kafka消息队列中，在此过程中经常出现数据丢失的情况。

发明内容

本申请提供了一种数据存储方法、装置、设备及存储介质，用以解决直接将数据存入kafka消息队列中经常出现数据丢失的问题。

第一方面，提供一种数据存储方法，包括：

获取数据存储请求；

确定与所述数据存储请求对应的主题参数；

当监测到与所述主题参数对应的kafka消息队列未存在异常时，获取所述数据存储请求中的业务数据，并将所述业务数据存入所述kafka消息队列。

可选地，确定与所述数据存储请求对应的主题参数，包括：

提取所述数据存储请求中的路由解析参数；

基于预先设置的路由解析参数与主题参数的对应关系，确定与所述路由解析参数对应的目标主题参数；

将所述目标主题参数作为与所述数据存储请求对应的主题参数。

可选地，基于预先设置的路由解析参数与主题参数的对应关系，确定与所述路由解析参数对应的目标主题参数，包括：

当所述对应关系中存在包括所述路由解析参数对应的目标对应关系时，将所述目标对应关系中的主题参数作为所述目标主题参数；

当所述对应关系中不存在所述目标对应关系时，获取所述对应关系中的默认对应关系，并将所述默认对应关系中的主题参数作为所述目标主题参数。

可选地，将所述默认对应关系中的主题参数作为所述目标主题参数之后，还包括：

统计预设时间段内所述路由解析参数出现的次数；

当确定所述次数大于次数阈值时，在所述对应关系中添加所述目标对应关系。

可选地，获取所述数据存储请求中的业务数据，包括：

提取所述数据存请求中的json数据；

将所述json数据作为所述业务数据。

可选地，当监测到与所述主题参数对应的kafka消息队列存在异常时，还包括：

将所述业务数据缓存至本地磁盘中。

可选地，将所述业务数据缓存至本地磁盘中之后，还包括：

当监测到所述kafka消息队列未存在异常时，将所述本地磁盘中的所述业务数据存入所述kafka消息队列。

第二方面，提供一种数据存储装置，包括：

获取单元，用于获取数据存储请求；

确定单元，用于确定与所述数据存储请求对应的主题参数；