[发明专利]一种海量交通数据知识挖掘与并行处理方法

说明书

本发明公开了一种海量交通数据知识挖掘与并行处理方法，在分布式集群的N个计算服务器中存储LSTM模型，将训练数据集分为N个集合分别输入N个计算服务器，各计算服务器同时训练，可降低LSTM模型的训练时间。在计算服务器结束一次前向传播和反向传播后向参数服务器传输参数矩阵，采用矩阵分解方法将其分解为两个矩阵相乘的形式，参数总量减少，通信耗时下降。设定矩阵压缩率，使用自适应阈值过滤方法对矩阵进行压缩，参数数量再次减少，通信耗时再次下降。计算矩阵压缩前后的误差矩阵并传递到下一轮训练中，在下一轮训练开始时先用参数矩阵和误差矩阵计算消除误差后的矩阵，再进行训练，可弥补矩阵压缩带来的误差，保证LSTM模型精度。

技术领域

本发明涉及交通大数据技术领域，尤其涉及一种海量交通数据知识挖掘与并行处理方法。

背景技术

在我国交通系统信息化水平不断提高的背景下，海量交通大数据也随之不断产生，这些交通大数据具有多源异构、知识密度较低等特点。如何分析利用这些交通大数据、对交通大数据进行知识挖掘，从而对交通业务产生指导作用，是亟需解决的难题。

以我国民航业为例，随着我国民航业的迅猛发展，机场客运量逐年增加，根据我国民航局数据统计，2019年全国客运航空公司共执行航班461.11万班次，其中正常航班376.52万班次，平均航班正常率为81.65%。2019年主要航空公司共执行航班330.47万班次，其中正常航班269.11万班次，平均航班正常率为81.43%。日益增长的航班数量导致我国空域发生航班拥堵、碰撞的可能性不断上升，如果开发出可以准确、快速预测航班在未来一段时间内的航行轨迹的算法，就可以在航班发生拥堵、碰撞之前让管制员或飞行员提前预知危险的存在，从而可以及时进行规避，极大地避免危险的发生，进而可以保证航班飞行安全、保护乘客的生命财产安全。

虽然目前国内外的学者在对航空大数据做知识挖掘进行航班航迹预测技术领域取得了长足的发展，但是模型训练所需要的时间过长，还是不能达到快速的标准，并且，缓慢的训练过程导致无法利用航班飞行大数据来构建准确、高效的航班航迹在线增量预测模型，这意味着预测模型可用性低。因此，为了充分利用从航班飞行大数据中挖掘得到的知识、实现航班航迹的准确、在线增量预测，亟需大幅度降低预测模型的训练时间，为提升航班航迹预测模型的实用性提供关键支撑。

发明内容

有鉴于此，本发明提供了一种海量交通数据知识挖掘与并行处理方法，用以弥补现有预测航班航迹点的大型神经网络在训练过程中耗时过长、不能有效进行在线增量预测的不足。

本发明提供的一种海量交通数据知识挖掘与并行处理方法，包括如下步骤：

S1：实时获取待测航班的ADS-B数据，从所述ADS-B数据中提取航班号、位置经度、位置纬度、飞行高度、航向角及航迹点数据更新时间总共六个字段的航行数据，删除其余字段；

S2：从提取的数据中选取六个连续时间片的航行数据，输入预先训练好的航班航迹预测模型的输入层，经过前向传播，输出待测航班的航行数据的预测结果；

其中，所述航班航迹预测模型的训练过程，包括如下步骤：

S11：设计航班航迹预测模型，模型参数设计如下：输入层节点数设置为6，输出层节点数设置为1，预测时间步长设置为6，隐藏层层数设置为1，隐藏层节点数设置为60，训练轮次设置为50，激活函数使用ReLU，损失函数使用交叉熵函数，损失函数的优化方法使用随机梯度下降方法；

S12：设定任意一台服务器作为参数服务器，其余N台服务器作为N个计算服务器，将所有服务器放在局域网中，保证各个服务器之间通信畅通，将所有服务器设置为分布式训练集群，将设计好的航班航迹预测模型复制N个副本分别部署到N个计算服务器中，一个航班航迹预测模型对应一个计算服务器；其中，N为正整数；