[发明专利]数据重分布的处理方法和装置以及电子设备

权利要求书

1.一种数据重分布的处理方法，其特征在于，包括：

获取待重分布数据的样本数据；

确定所述样本数据中每个键值所对应的数据的有序程度和/或每个键值与其他键值所对应的数据的关联程度，包括：对所述样本数据中每个键值所对应的数据内容进行归一化处理，得到每个键值对应的所有编码值；根据每个键值对应的所有编码值，构建每个键值的键值向量；基于各键值的所述键值向量计算每个键值所对应的数据的有序程度和/或每个键值与其他键值所对应的数据的关联程度；

根据所述每个键值所对应的数据的有序程度和/或每个键值与其他键值所对应的数据的关联程度选取最优键值；

根据所述最优键值所对应的数据对所述待重分布数据进行重分布处理。

2.根据权利要求1所述的方法，其特征在于，所述基于各键值的所述键值向量计算每个键值与其他键值所对应的数据的关联程度，包括：

针对每一个键值，计算该键值与其他键值之间的所述键值向量的余弦距离，并将各余弦距离相加得到第一和值，所述第一和值越大，该键值与其他键值所对应的数据的关联程度越高；或者，

针对每一个键值，计算该键值与其他键值之间的所述键值向量的欧式距离，并将各欧式距离相加得到第二和值，所述第二和值越小，该键值与其他键值所对应的数据的关联程度越高。

3.根据权利要求1所述的方法，其特征在于，所述基于各键值的所述键值向量计算每个键值所对应的数据的有序程度，包括：

计算各键值的所述键值向量的信息熵，所述信息熵的值越小，相应键值所对应的数据的有序程度越高；或者，

计算各键值的所述键值向量的信息增益，所述信息增益的值越小，相应键值所对应的数据的有序程度越高。

4.根据权利要求1所述的方法，其特征在于，所述确定所述样本数据中每个键值所对应的数据的有序程度和/或每个键值与其他键值所对应的数据的关联程度之后，还包括：

针对每一个键值，计算该键值与其他键值所对应的数据的关联程度以及该键值所对应的数据的有序程序的加权值；

所述根据所述每个键值所对应的数据的有序程度和/或每个键值与其他键值所对应的数据的关联程度选取最优键值，包括：

将加权值最高的键值选取作为所述最优键值。

5.根据权利要求1至4中任一种所述的方法，其特征在于，所述根据所述最优键值所对应的数据对所述待重分布数据进行重分布处理，包括：

在所述最优键值对应的数据内容中，确定出现次数高于预置数量阈值的高频数据内容；

对于包含所述高频数据内容的待重分布数据，在进行重分布时分散的发送至不同的处理节点。

6.根据权利要求1所述的方法，其特征在于，所述根据所述每个键值所对应的数据的有序程度和/或每个键值与其他键值所对应的数据的关联程度选取最优键值之后，还包括：

根据所述最优键值生成用于对数据进行重分布处理的重分布程序；

所述方法还包括：

基于所述重分布程序对待重分布数据进行重分布处理。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在检测到新增的待重分布数据后，根据所述最优键值所对应的数据对所述新增的待重分布数据进行重分布处理。