[发明专利]分布式系统的数据处理方法、系统、节点和存储介质

说明书

本申请实施例涉及通信技术领域，公开了一种分布式系统的数据处理方法、系统、管理节点和存储介质，上述数据处理方法包括：接收所述分布式系统中的目标客户端发送的数据读写的操作指令；其中，所述分布式系统包括多个宿主机，每个所述宿主机中部署有客户端和存储节点；确定所述目标客户端的宿主机；查询所述目标客户端的宿主机上存在的第一目标存储节点；将所述第一目标存储节点的信息返回至所述目标客户端，以供所述目标客户端在所述第一目标存储节点进行数据读写，避免了分布式系统部署在云化平台上失去数据本地性，有利于减小对网络带宽的消耗。

技术领域

本申请实施例涉及通信技术领域，特别涉及一种分布式系统的数据处理方法、系统、管理节点和存储介质。

背景技术

随着移动互联网、物联网、5G、智能终端以及人工智能高速发展，数据正在迅速膨胀，大数据在实际生产中的应用也越来越广泛；各种各样的大数据框架地位越来越重要，比如Apache Hadoop就已经成为实际工业生产中大数据的事实标准；由于传统的分布式系统是将计算和存储资源绑定的，导致资源利用率低、数据吞吐量受限以及不易于弹性扩容等问题；而云化平台，其灵活的应用创建与部署、在云平台与OS上分发的可移植性、资源隔离及资源利用率高等特性，能够解决传统的分布式系统面临的上述问题。

但是，分布式系统部署在云化平台上也会面临新的问题，其中最主要的问题就是失去了数据本地性，这样则会增加对网络带宽的消耗。

发明内容

本申请实施例的主要目的在于提出一种分布式系统的数据处理方法、系统、管理节点和存储介质，避免了分布式系统部署在云化平台上失去数据本地性，有利于减小对网络带宽的消耗。

为至少实现上述目的，本申请实施例提供了一种分布式系统的数据处理方法，所述分布式系统部署在云化平台中，所述方法应用于管理节点，包括：接收所述分布式系统中的目标客户端发送的数据读写的操作指令；其中，所述分布式系统包括多个宿主机，每个所述宿主机中部署有客户端和存储节点；确定所述目标客户端的宿主机；查询所述目标客户端的宿主机上存在的第一目标存储节点；将所述第一目标存储节点的信息返回至所述目标客户端，以供所述目标客户端在所述第一目标存储节点进行数据读写。

为实现上述目的，本申请实施例还提供了一种分布式系统的数据处理系统，其特征在于，所述分布式系统部署在云化平台中，所述数据处理系统包括：管理节点和分布式系统，所述分布式系统包括多个宿主机，每个所述宿主机中部署有客户端和存储节点；所述管理节点，用于接收所述分布式系统中的目标客户端发送的数据读写的操作指令，确定所述目标客户端的宿主机；所述管理节点，还用于查询所述目标客户端的宿主机上存在的第一目标存储节点，将所述第一目标存储节点的信息返回至所述目标客户端；所述目标客户端，用于在所述第一目标存储节点进行数据读写。

为实现上述目的，本申请实施例还提供了一种管理节点，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的分布式系统的数据处理方法。

为至少实现上述目的，本申请实施例还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述的分布式系统的数据处理方法。

本申请实施例提供的部署在云化平台中的分布式系统的数据处理方法，接收分布式系统中的目标客户端发送的数据读写的操作指令，分布式系统包括多个宿主机，每个宿主机中部署有客户端和存储节点；确定目标客户端的宿主机；查询目标客户端的宿主机上存在的第一目标存储节点；将第一目标存储节点的信息返回至目标客户端，以供目标客户端在第一目标存储节点进行数据读写，以保证分布式系统在读写过程中可以优先选择与目标客户端的宿主机的存储节点进行读写，即优先选择本地节点进行读写，充分利用本地存储资源，避免了分布式系统部署在云化平台上失去数据本地性，有利于减小对网络带宽的消耗，提升存储性能。

附图说明