[发明专利]基于预测的数据分布式协同处理方法

摘要

本发明属于任务调度技术领域，本发明的基于预测的数据分布式协同处理方法首先对数据进行预处理，包括清理和定义数据向量。然后采用级联的LSTM分步预测，通过训练不断调整网络参数，获取数据预测函数。最后根据训练获得的预测函数，来预测即将到来的任务所需的数据。若所预测的数据已经存在于资源节点上面，那么将数据本地化；否则将数据处理完提前发送到资源节点上。在对任务进行资源调度时，首先将任务分发到拥有所需数据的资源节点上，若过任务执行时间上限还未被执行，则将其重新分发到负载较低的节点上，并从拥有任务所需数据的资源节点上获取所需数据。本发明省去了现有任务在总任务时间中的数据处理时间和数据传输时间，从而有效提高系统效率。

主权项

1.基于预测的数据分布式协同处理方法，其特征在于，包括下列步骤：S1.数据预处理：S11.警务数据数据清理：清除出现的概率低于第一门限的数据表，得到数据表字典；以及将数据表字典中的各数据表中出现概率低于第二门限的表项清楚，得到表项字典；S12.定义数据向量：对警务任务所用的数据建立二维向量，第一维是数据根据数据表字典所对应的向量，第二维是数据根据所在数据表和表项字典所对应的向量；S2.分步训练，采用级联的LSTM进行分步预测，首先初始化LSTM的网络参数，通过训练不断调整网络参数，将最后得到网络参数作为函数集：S21.训练数据表；将数据向量的第一维按照时刻作为输入，通过训练，获得数据表的预测结果，然后进入步骤S22；S22.训练表项：将步骤S21的输入作为训练表项的输入的筛选条件，对数据向量的第二维数据进行筛选，最终训练获得表项的预测结果；S23.合并步骤S21和S22的训练所得的预测结果得到一次训练结果；基于训练结果判断是否满足训练停止条件，若是，则将当前得到的网络参数作为函数集；否则继续执行步骤S21至步骤S23；S3.数据预测：根据训练获得的预测函数，预测当前待执行任务所需的数据；S4.数据本地化处理；S41.若步骤S3预测的数据已经存在于资源节点上，则将所预测的数据本地化；S42.若步骤S3预测的数据不在资源节点上，则将所预测的数据处理完提前发送到资源节点上；S5.任务调度策略：首先将任务分发到拥有所需数据的资源节点上，当超过任务执行时间上限，当前任务还未被执行，则将当前任务重新分发到负载低于负载阈值的节点上，并从拥有任务所需数据的资源节点上获取所需数据。