[发明专利]一种交通大数据清洗方法、装置、设备及可读存储介质

权利要求书

1.一种交通大数据清洗方法，其特征在于，包括：

对高速公路全景交通数据进行空值检测和异常识别标记，得到标记后的高速公路全景交通数据；

根据预设的第一数据质量评价规则，对所述标记后的高速公路全景交通数据进行缺失度和异常度评价，得到不同缺失级别和异常级别的高速公路全景交通数据；

根据高速公路全景交通数据的缺失级别和异常级别，并结合预设的不同清洗级别的清洗方法，对高速公路全景交通数据进行清洗；

根据预设的第二数据质量评价规则，对清洗后的高速公路全景交通数据进行清洗效果评价，若清洗后的高速公路全景交通数据通过第二数据质量评价规则，则完成数据清洗；否则，改变清洗级别，继续对高速公路全景交通数据进行清洗，直至通过第二数据质量评价规则。

2.根据权利要求1所述的一种交通大数据清洗方法，其特征在于，所述异常识别方法包括标准规则对比法、四分位数法和X bar-S统计控制图法。

3.根据权利要求1所述的一种交通大数据清洗方法，其特征在于，所述第一数据质量评价规则具体包括：

记缺失率为q，

若q2％，则定义为三级缺失；若2％q10％，则定义为二级缺失；若q10％，则定义为一级缺失；

记异常率为d，

式中，x_ij为异常数据集中第i行第j列数据值，x_j′为异常数据集第j列数据的均值，i为异常数据的索引，n为异常数据的总条数；

若d0.5σ，则定义为三级异常；若0.5σdσ，则定义为二级异常；若d2σ，则定义为一级异常；其中，σ为异常数据集合的标准差；

级别优先级由高至低依次为：一级、二级和三级。

4.根据权利要求3所述的一种交通大数据清洗方法，其特征在于，所述不同清洗级别的清洗方法包括：

三级清洗，所述三级清洗定义为：将标记为异常的数据删除，并标记为缺失；

二级清洗，所述二级清洗定义为：对缺失数据采用样条插值法、Stineman内插法或加权滑动平均值法进行择优插补；

一级清洗，所述一级清洗定义为：对缺失数据采用BP神经网络、移动平均自回归、支持向量回归模型、长短记忆神经网络、基于相空间重构粒子群改进的BP神经网络或图神经网络算法进行择优插补。

5.根据权利要求4所述的一种交通大数据清洗方法，其特征在于，所述第二数据质量评价规则具体包括：

基于相同时段和相同空间的已经完成清洗的历史高速公路全景交通数据，建立数据清洗质量模板；

通过相似性函数，计算清洗完成后的高速公路全景交通数据与数据清洗质量模板之间的相似性，所述相似性函数为：

式中，其中向量(A₁,B₁)为待清洗数据向量，(A₂,B₂)为数据清洗质量模板向量；

若cosθ0.5，则升高清洗级别，对高速公路全景交通数据进行再次清洗；

若0.5cosθ0.9，则清洗后的高速公路全景交通数据通过第二数据质量评价规则，完成数据清洗；

若cosθ0.8，则降低清洗级别，对高速公路全景交通数据进行再次清洗。

6.根据权利要求1所述的一种交通大数据清洗方法，其特征在于，所述高速公路全景交通数据包括气象数据、车辆数据、道路数据和门架系统数据。