[发明专利]一种海量交通数据知识挖掘与并行处理方法

权利要求书

1.一种海量交通数据知识挖掘与并行处理方法，其特征在于，包括如下步骤：

S1：实时获取待测航班的ADS-B数据，从所述ADS-B数据中提取航班号、位置经度、位置纬度、飞行高度、航向角及航迹点数据更新时间总共六个字段的航行数据，删除其余字段；

S2：从提取的数据中选取六个连续时间片的航行数据，输入预先训练好的航班航迹预测模型的输入层，经过前向传播，输出待测航班的航行数据的预测结果；

其中，所述航班航迹预测模型的训练过程，包括如下步骤：

S11：设计航班航迹预测模型，模型参数设计如下：输入层节点数设置为6，输出层节点数设置为1，预测时间步长设置为6，隐藏层层数设置为1，隐藏层节点数设置为60，训练轮次设置为50，激活函数使用ReLU，损失函数使用交叉熵函数，损失函数的优化方法使用随机梯度下降方法；

S12：设定任意一台服务器作为参数服务器，其余N台服务器作为N个计算服务器，将所有服务器放在局域网中，保证各个服务器之间通信畅通，将所有服务器设置为分布式训练集群，将设计好的航班航迹预测模型复制N个副本分别部署到N个计算服务器中，一个航班航迹预测模型对应一个计算服务器；其中，N为正整数；

S13：获取多个航班的历史ADS-B数据，从所述历史ADS-B数据中提取航班号、位置经度、位置纬度、飞行高度、航向角及航迹点数据更新时间总共六个字段的航行数据，作为训练数据；

S14：将所述训练数据平均分成N个集合，作为N个计算服务器的训练数据集，一个集合对应一个计算服务器，在每个集合中将属于同一个航班的数据分到同一个子集合；对属于同一个子集合的航迹点数据更新时间字段进行排序，将属于同一个航班的所有航迹点中时间间隔大于时间阈值的两个航迹点视为两条航迹序列的终止点和起始点，将属于同一个航班的所有航迹点分为若干条不同的航迹序列，将每条航迹序列中的航迹点构造成输入向量，其中，callsign代表航班号，longitude代表位置经度，latitude代表位置纬度，height代表飞行高度，angle代表航向角，time代表航迹点数据更新时间；

S15：在N个计算服务器中同时开始数据输入，将每个集合的每个子集合中属于同一条航迹序列的六个连续时间片的输入向量输入到对应计算服务器的输入层的六个节点中进行前向传播，一个时间片的输入向量对应一个节点，输出对第七个时间片的航行数据的预测结果，计算输出的预测结果与实际航行数据的误差，将误差反向传播，得到N个计算服务器经一次前向传播和一次反向传播后的参数矩阵，其中下标t表示参数矩阵是第t次迭代训练得到的；

S16：假设参数矩阵是一个的矩阵，采用矩阵分解方法将参数矩阵分解为三个矩阵、和，其中，矩阵是一个的矩阵，矩阵是一个的矩阵，矩阵是一个的对角矩阵，矩阵拥有降序排列的非负实奇异值，R代表参数矩阵的秩；令，，，矩阵是一个的矩阵，矩阵是 一个的矩阵；

S17：确定每次迭代训练对矩阵和的压缩率，根据压缩率自适应地确定每次迭代训练对矩阵和的压缩阈值，根据压缩率和压缩阈值，分别对矩阵和的参数数量进行压缩，得到第一压缩矩阵和第二压缩矩阵，将第一压缩矩阵与矩阵的对应参数做减法，得到第一误差矩阵，将第二压缩矩阵与矩阵的对应参数做减法，得到第二误差矩阵，将第一压缩矩阵、第二压缩矩阵、第一误差矩阵和第二误差矩阵输入到参数服务器；

S18：对N个计算服务器的第一压缩矩阵求平均得到第一平均压缩矩阵，对N个计算服务器的第二压缩矩阵求平均得到第二平均压缩矩阵，对N个计算服务器的第一误差矩阵求平均得到第一平均误差矩阵，对N个计算服务器的第二误差矩阵求平均得到第二平均误差矩阵，将第一平均压缩矩阵、第二平均压缩矩阵、第一平均误差矩阵和第二平均误差矩阵传输回N个计算服务器中；

S19：在N个计算服务器中，利用第一平均压缩矩阵和第一平均误差矩阵弥补第一压缩矩阵产生的误差得到第一补偿矩阵，利用第二平均压缩矩阵和第二平均误差矩阵弥补第二压缩矩阵产生的误差得到第二补偿矩阵，将第一补偿矩阵和第二补偿矩阵相乘得到优化后的参数矩阵，作为下一次迭代训练的新的参数矩阵，返回步骤S15，利用新的参数矩阵重新进行前向传播，输出新的预测结果，计算新的预测结果与实际航行数据的误差，利用损失函数评价新的预测结果与实际航行数据的误差，当损失函数达到最小值或者训练过程出现过拟合现象时停止训练。