[发明专利]一种飞行器海量传感器试验数据的快速处理方法

说明书

本发明公开了一种飞行器海量传感器试验数据的快速处理方法，所述方法包括：步骤1)采集飞行器传感器下传的原始并行数据，对并行数据进行切割，生成若干个原始数据包，上传至HDFS文件；步骤2)对原始数据包进行数据解析，得到时间对齐后的标准化数据；步骤3)将时间对齐后的标准化数据进行导出，生成列式数据，将每一列的数据分配到spark集群的每个计算机中进行分布式计算。本发明的方法可以尽可能减少分布式计算集群之间的数据通信，所有线程能够在互不干扰的情况下共享相同的资源，进而显著提高数据处理的速度；此外，本发明的方法能够提高飞行器试验数据处理的效率，缩短两次试验的时间间隔。

技术领域

本发明涉及计算机技术领域，尤其涉及一种飞行器海量传感器试验数据的快速处理方法。

背景技术

飞行器从零部件集成到正式运行期间需要经过大量的试验来确保设备的正常稳定运行，随着国防工作的快速发展，飞行器的集成度越来越高，机载传感器的数量明显增多，这就导致了试验数据中参数的种类和数据量大增。以典型的民用飞机单次试验为例，目前涉及到的参数种类可达数万个，产生的数据大约150GB，数据处理规模已经十分庞大。

目前对针对机载传感器下传的数据，现有的数据处理方法根据不同的场景主要有两种：针对少量源码数据，通过配置高性能的机器，在单台机器中对源码数据进行解析，该方法可以满足大部分小型试验任务的需求。而针对大规模源码数据，目前一般都是工程师对任务进行分工，每个人负责任务的一部分，在各自的机器上运行，最后将结果进行汇总，这种方法会增加人力的投入，也会增加解析的复杂度，进而导致解析效率降低，而随着数据量的逐渐增大，这种效率的降低也会越来越明显。

发明内容

本发明的目的在于克服传统数据处理方法在处理海量传感器试验数据时存在的效率低，单个机器内存和CPU等硬件资源不足的缺点，提供一种快速的飞行器海量试验数据处理方法，用于提高试验数据分析的效率。

为了实现上述目的，本发明提供一种飞行器的海量试验数据的快速处理方法，所述方法包括：

步骤1)采集飞行器传感器下传的原始并行数据，对并行数据进行切割，生成若干个原始数据包，上传至HDFS文件；

步骤2)对原始数据包进行数据解析，得到时间对齐后的标准化数据；

步骤3)将时间对齐后的标准化数据进行导出，生成列式数据，将每一列的数据分配到spark集群的每个计算机中进行分布式计算。

作为上述方法的一种改进，所述方法还包括：步骤4)将时间对齐后的标准化数据进行清洗，得到筛选后的数据，进行排序和合并后，存储在FTP服务器中。

作为上述方法的一种改进，所述步骤1)包括：

步骤101)采集器根据规定的采样间隔对飞行器传感器下传的数据进行采集，解析整个数据文件的前段数据，获取所有的参数初始信息，包括参数的采样初始时间，整个数据文件采样的初始时间、以及数据文件中出现的参数名全集；

步骤102)计算单包的长度,用指针偏移的方法来对数据进行切包处理，生成若干个原始数据包；切包的规则是只能在两个单包之间切割，而不能跨包切割；

步骤103)将若干个原始数据包上传至HDFS文件中。

作为上述方法的一种改进，所述步骤2)包括：

步骤201)按照解析协议对原始数据包进行解析，获取基本参数值数据；

所述参数值数据包括参数的类型，长度，位置，偏移量，EU变换规则和参数组信息；

步骤202)对参数进行合成，生成全参数数值数据；

步骤203)根据全参数数值数据生成数据时间序列，得到时间序列信息；同时生成标准化索引数据；