[发明专利]分布式云数据的处理方法、装置及存储介质

权利要求书

1.分布式云数据的处理方法，其特征在于，包括如下步骤：

步骤S1、获取初始云数据,对获取到的初始云数据进行预处理，得到初始云数据的最小云团；

统计初始云数据的总体数量，得到初始云数据的最小云团，选出最小云团中数据点的坐标值在X、Y、Z三个方向上的最大值X_max、Y_max、Z_max，最小值X_min、Y_min、Z_min，利用最大值减去最小值算出最小云团的包围边长Lx、Ly、Lz：

Lx＝X_max-X_min；

Ly＝Y_max-Y_min；

Lz＝Z_max-Z_min；

步骤S2、计算最小云团的中心数据点；

设P_i(X_i,Y_i,Z_i)为最小云团中的数据点的坐标，k为数据点总数，计算最小云团的中心数据点P₀(X₀,Y₀,Z₀)：

步骤S3、将最小云团中的数据点的数据进行分类；

步骤S4、对分类后的所有数据组中的数据在分布式存储系统中进行分布式存储；

步骤S5、在时间窗Δt内将接收到的数据写入请求的多个数据部署到分布式存储系统中的多个分布域，利用多分布域协作实现分布域间负载平衡资源代价最小化；

步骤S51、定义一个五元组V＝{PN，TS，C_c，C_m，C_l}，其中，PN表示一组n个域节点的集合，TS表示在Δt时间窗口内数据写入请求的集合，C_C是PN中n个域节点当前剩余的CPU资源的集合，C_m是PN中n个域节点当前剩余的内存资源的集合，C₁表示域节点i与其相邻域节点i’之间通信的带宽资源的集合；

步骤S52、n个域节点构成节点网络，所述节点网络用加权无向图G＝(PN,C_l)来表示；构建数据写入请求网络，用加权无向图G_V＝(PN_V,CL_V)来表示，PN_V代表数据写入请求节点集合，CL_V代表写入请求节点之间通信的带宽资源集合；

步骤S53、将数据写入请求网络映射到n个域节点构成节点网络的过程表示为M:G_V＝(PN_V,CL_V)→G＝(PN,C_l)，其中

步骤S54、设第一负载均衡目标，采用负载均衡度来度量多域环境下的负载均衡效果；

在基于虚拟网络映射完成所有任务请求的部署后，域内的第i个域节点的负载L_i表示如下:

L_i＝αL_ic+βL_im，i∈{1，2，3...n},

L_ic与L_im分别表示第i个域节点的CPU资源和内存资源的利用率，第i个域节点的资源利用率U_i表示为如下:

U_i＝L_i/Wⁱ；

资源总量Wⁱ表示为：

Wⁱ＝αW_ic+βW_im；

W_ic与W_im分别表示第i个域节点的CPU资源总量和内存资源总量；

步骤S55、将负载平衡度ω最小化，实现负载均衡目标；利用资源利用率的标准差来度量负载平衡度ω，U_i表示第i个域节点当前资源利用率，n表示域节点的数量，某一时间段内平均资源利用率公式如下:

由此得到负载平衡度ω公式，其形式如下:

将负载平衡度ω最小化，实现负载均衡目标。