[发明专利]数据分片处理方法、装置及学分银行服务器

权利要求书

1.一种数据分片处理方法，其特征在于，应用于与终端设备通信的学分银行服务器，所述方法至少包括：

获取基于接收到的所述终端设备发送的操作指令生成的多组交互数据中的每组交互数据的数据类别和数据容量；

根据每组交互数据的数据类别和数据容量确定每组交互数据的分片策略并确定出每两种分片策略之间的干扰系数；

获取确定出的所有干扰系数的第一平均值并根据所述第一平均值对每组交互数据的数据类别进行聚类，得到多个交互数据聚类；

统计每个交互数据聚类的数据总容量值，将数据总容量值超过设定值的交互数据聚类按照数据节点分片方法进行数据分片，将数据总容量值没有超过所述设定值的交互数据聚类按照钩子函数调用方法进行数据分片。

2.根据权利要求1所述的数据分片处理方法，其特征在于，所述确定出每两种分片策略之间的干扰系数，包括：

确定每种分片策略的分片密度；

针对每两种分片策略，将每两种分片策略中的第一分片策略对应的第一分片密度与第二分片策略对应的第二分片密度进行调换，并确定完成调换的第一分片策略中的第一分片逻辑表单的第一自适应调整参数集以及完成调换的第二分片策略中的第二分片逻辑表单的第二自适应调整参数集；

确定出所述第一自适应调整参数集中的第一目标参数，并从所述第二自适应调整参数集中确定出与所述第一目标参数一致的第二目标参数；

将所述第一自适应调整参数集中的所述第一目标参数进行剔除，得到第一独立参数集，将所述第二自适应调整参数集中的所述第二目标参数进行剔除，得到第二独立参数集；

将所述第一独立参数集和所述第二独立参数集进行融合得到分片参数集并根据所述分片参数集生成与每两种分片策略对应的临时分片指令；

广播所述临时分片指令，以使得目标学分银行服务器接收所述临时分片指令并根据所述临时分片指令中携带的分片逻辑对所述临时分片指令中封装的两组交互数据进行数据分片得到分片结果；

接收所述目标学分银行服务器反馈的分片结果；判断所述分片结果中的偏移量是否超过预设阈值；在所述偏移量超过所述预设阈值时根据所述第一独立参数集确定出每两种分片策略之间的干扰系数；在所述偏移量没有超过所述预设阈值时根据所述第二独立参数集确定出每两种分片策略之间的干扰系数。

3.根据权利要求1所述的数据分片处理方法，其特征在于，所述根据所述第一平均值对每组交互数据的数据类别进行聚类，包括：

确定出交互数据的数据类别中携带的类别标识地址并对确定出的每个类别标识地址的地址编码值进行统计，得到每个类别标识地址的对应的字符累计值；

将每个字符累计值映射到对应的交互数据的分片策略的源数据码流表单中，得到每个字符累计值的关联性评估值；

确定出得到的所有关联性评估值的第二平均值，并按照所述第二平均值与所述第一平均值之间的差值生成多个数值区间；

统计落入每个数值区间的关联性评估值并对每个数值区间内的若干个关联性评估值对应的若干个数据类别进行聚类。

4.根据权利要求1所述的数据分片处理方法，其特征在于，所述将数据容量和值超过设定值的交互数据聚类按照数据节点分片方法进行数据分片，包括：

将数据容量和值超过所述设定值的第一目标交互数据聚类中的每组交互数据的进行节点拆分，确定出所述第一目标交互数据聚类的数据节点集；

按照设定时间间隔从所述第一目标交互聚类的数据节点集中随机抽取N个数据节点，N为正整数且N小于所述数据节点集中的数据节点总数；

对所述N个数据节点同步进行数据分片，在达到设定时长时将所述N个数据节点中完成数据分片的第一数据节点的数据分片处理结果进行存储并将所述第一数据节点进行删除，将所述N个数据节点中没有完成数据分片的第二数据节点转移至所述数据节点集中，并返回按照设定时间间隔从所述第一目标交互聚类的数据节点集中随机抽取N个数据节点的步骤。