[发明专利]数据处理方法、装置、电子设备和存储介质

说明书

本公开提供了一种数据处理方法、装置、电子设备和存储介质，可用于数据处理技术领域或金融领域，该方法包括：根据从客户端获取的操作请求，确定与操作请求对应的存储节点，存储节点包括主节点和M个从节点，M为正整数；根据M个从节点的实时可用状态，对操作请求和等待指令请求处理，生成合并请求，M个从节点的实时可用状态是通过与注册中心通信的监控组件实时获取的；根据合并请求，建立代理端与存储节点之间的动态连接关系，动态连接关系在满足预设条件时解除；根据动态连接关系，将合并请求发送至存储节点，代理端接收并转发基于存储节点的执行结果生成的响应结果，执行结果是所储节点的主节点及从节点根据合并请求生成的。

技术领域

本公开涉及数据处理技术领域，具体涉及一种数据处理方法、装置、电子设备和存储介质。

背景技术

随着互联网的发展，为了保证数据在进行操作时候具有高可用的特性，需要对数据进行同步等处理，在数据结构服务器中，主节点和从节点数据同步策略为异步复制，当存储层出现硬件故障、网络中断等异常情况发生时，主节点触发高可用切换，从节点变成主节点，替代出现问题的主节点。而现有技术中，主节点与从节点之间的数据为异步复制，异步复制过程中，无法保证数据能够完全实现主从节点的数据同步，进而在进行秒杀、抢购等场景时，当主从数据未完全实现同步时而进行主从节点切换，将导致操作请求丢失导致数据错误等问题。

发明内容

有鉴于此，本公开提供一种数据处理方法、装置、电子设备和存储介质，至少部分地解决了主从节点切换后导致数据丢失的问题，可以保证主节点、从节点切换后数据的一致性，提高存储节点的高可用性。

本公开的第一方面提供了一种数据处理方法，包括：根据从客户端获取的操作请求，确定与所述操作请求对应的存储节点，所述存储节点包括主节点和M个从节点，M为正整数；根据所述M个从节点的实时可用状态，对所述操作请求和等待指令请求处理，生成合并请求，所述M个从节点的实时可用状态是通过与注册中心通信的监控组件实时获取的；根据所述合并请求，建立代理端与所述存储节点之间的动态连接关系，所述动态连接关系在满足预设条件时解除；根据所述动态连接关系，将所述合并请求发送至存储节点，所述代理端接收并转发基于所述存储节点的执行结果生成的响应结果，所述执行结果是所述存储节点的主节点及从节点根据所述合并请求生成的。

在本公开的一些示例性实施例中，所述的方法还包括：在所述根据所述M个从节点的实时可用状态，对所述操作请求与等待指令请求处理，生成合并请求之前，从所述注册中心获取由所述监控组件实时获取的所述M个从节点中每个从节点的可用状态。

在本公开的一些示例性实施例中，所述的方法还包括：在根据从客户端获取的操作请求，确定与所述操作请求对应的存储节点之前，从客户端获取操作请求；在接收到从客户端获取的操作请求后，将与所述操作请求相关联的客户端信息和请求数据存储至目标队列。

在本公开的一些示例性实施例中，所述根据从客户端获取的操作请求，确定与所述操作请求对应的存储节点，包括：根据预设算法对从客户端获取的操作请求进行解析，确定目标数据；根据所述目标数据，确定与所述操作请求对应的存储节点。

在本公开的一些示例性实施例中，所述根据所述M个从节点的实时可用状态，对所述操作请求和等待指令请求处理，生成合并请求包括：根据获取的M个从节点中每一个节点的可用状态，统计可用从节点数目；在所述可用从节点数目大于设定阈值时，对所述操作请求和等待指令请求处理，生成合并请求。

在本公开的一些示例性实施例中，所述预设条件包括：建立所述动态连接关系所用时间超过设定时间；以及所述从节点根据所述合并请求生成执行结果。

在本公开的一些示例性实施例中，所述的方法还包括：在所述动态连接关系解除时，删除与所述动态连接关系相关联的请求队列，以及释放存储的与所述动态连接关系相关联的内存信息。