[发明专利]一种飞行器海量传感器试验数据的快速处理方法

权利要求书

1.一种飞行器海量传感器试验数据的快速处理方法，所述方法包括：

步骤1)采集飞行器传感器下传的原始并行HDFS数据，对并行数据进行切割，生成若干个原始数据包，上传至HDFS；

步骤2)对原始数据包进行数据解析，得到时间对齐后的标准化数据；

步骤3)将时间对齐后的标准化数据进行导出，生成列式数据，将每一列的数据分配到spark集群的每个计算机中进行分布式计算；

所述步骤1)包括：

步骤101)采集器根据规定的采样间隔对飞行器传感器下传的数据进行采集，解析整个数据文件的前段数据，获取所有的参数初始信息，包括参数的采样初始时间，整个数据文件采样的初始时间、以及数据文件中出现的参数名全集；

步骤102)计算单包的长度,用指针偏移的方法来对数据进行切包处理，生成若干个原始数据包；切包的规则是只能在两个单包之间切割，而不能跨包切割；

步骤103)将若干个原始数据包上传至HDFS中；

所述步骤2)包括：

步骤201)按照解析协议对原始数据包进行解析，获取基本参数值数据；

所述参数值数据包括参数的类型，长度，位置，偏移量，EU变换规则和参数组信息；

步骤202)对参数进行合成，生成全参数数值数据；

步骤203)根据全参数数值数据生成数据时间序列，得到时间序列信息；同时生成标准化索引数据；

步骤204)将时间序列信息与标准化索引数据进行数据合并，生成标准化带时间信息的序列数据；

步骤205)对数据进行时间对齐，生成时间对齐后的标准化数据；

获取采集数据的起始时间T，从数据协议中获取该参数的实际采样率Sa和对齐采样率Sa₀，以及从分布式实时解析中获取到该参数的当前时间T₁，计算当前参数实际的采样索引index＝round((T₁-T)*Sa*10^-9)，根据同步采样率原理计算当次参数值经过时间对齐后的采样索引：

其中，lcm()表示求取最小公倍数，并获取到时间对齐后的当次参数的采样时间：

time[]＝{t|t＝T+indexNew[]*10⁹/Sa₀}(ns)。

2.根据权利要求1所述的飞行器海量传感器试验数据的快速处理方法，其特征在于，所述方法还包括：步骤4)将时间对齐后的标准化数据进行清洗，得到筛选后的数据，进行排序和合并后，存储在FTP服务器中。

3.根据权利要求1所述的飞行器海量传感器试验数据的快速处理方法，其特征在于，所述步骤3)的将时间对齐后的标准化数据进行导出，生成列式数据的具体过程为：

通过对每个参数特定时间点的值以参数组映射+时间对齐后的采样索引，value的格式进行聚合、排序、归一化和过滤，每个参数组都各自导出一个只有参数值信息的中间文件到HDFS中，先不包含任何时间和参数名信息，然后对每个参数组中间文件进行并发的二次处理，根据参数组相关的时间区间、采样率和参数名集合虚拟生成出对齐后的时间序列以及参数名序列，由此生成列式数据。

4.根据权利要求2所述的飞行器海量传感器试验数据的快速处理方法，其特征在于，所述步骤4)具体包括：

步骤401)通过a条件和b条件对数据进行清洗：a条件、参数组配置文件中要求导出该参数，b条件、该参数经过同步采样率后当前时间点没有因为采样率升降采导致值丢弃；

步骤402)对清洗后的数据进行排序和合并后，存储在FTP服务器中。