[发明专利]一种测试数据处理方法、装置、存储介质、仪器及车辆

说明书

本发明公开了一种测试数据处理方法、装置、存储介质、仪器及车辆，为测试过程的数据采集和预处理提供了优化方案；公开了一种面向匹配领域，将抽取到的ASAM原始数据，经特殊算法转换成spark能够直接处理的RDD/Dataframe数据集的方法，同时公开了一种可改善分区特性的优化方法。采用本发明的突出效果是使得远程标定的原始ASAM数据向Spark‑RDD/Dataframe进行转化，产生满足标准spark处理流程的数据类型；同时，对spark原有分区进行了合理补偿，使得结果更加准确，避免了连续片段进行捕捉时对大数据处理的错漏问题。

技术领域

本发明属于虚拟仪器技术领域，尤其涉及一种测试数据处理方法、装置、存储介质、仪器及车辆。

背景技术

针对海量数据的处理方法，常采用基于Spark/storm/flink等大数据处理框架的分布式计算；其中，Spark是加州大学伯克利分校的AMP实验室所开源的类HadoopMapReduce的通用并行框架。

发明人发现：远程标定采集得到的海量数据是一种满足ASAM（Association forStandardisation of Automation and Measuring Systems, 自动化及测量系统标准协会）协议的mf4格式数据，其形态和Spark预先定义的RDD（Resilient DistributedDatasets，弹性分布式数据集）弹性分布数据集、Dataframe数据表等差异巨大，目前没有现成的处理库、函数包，用以满足相应的功能，亟需将ASAM数据处理成符合Spark框架的数据类型。

发明人还发现：匹配标定领域对数据研究方式具有特殊性，对数据的研究往往有时间连续性要求，需要有效的考察数据片段。传统的大数据往往更倾向于关注某个数据样本点，因此只有针对单个样本的HashPartitioner（基于键值的分区）以及RangePartitioner（范围分区）。

研究某个物理现象时，如图1的环状区域（100）标记出来的位置是感兴趣的挖掘事件。在使用Spark等框架进行处理分析的时候，内，由于数据量很大，因此需要切分并存储在各个结点的分区（partition）当中，对RDD进行操作时，实际上是对每个分区中的数据并行操作。如图1所示，当Spark对数据进行自动分区，若出现了两个分区（partition0和partition1），恰好把目标片段截断，将可能造成特征丢失、数据挖掘失败。

发明内容

本发明公开了一种测试数据处理方法、装置、存储介质、仪器及车辆，为测试过程的数据采集和预处理提供了优化方案。具体地，

通过获取可测目标单元的原始数据，得到系统分析的基础资源；包括：第一数据和/或第二数据；其中，第一数据是目标单元的资料信息，第二数据是目标单元的参数信息；目标单元是测试对象的可测单元。

通过抽取第一数据和/或第二数据中的原始数据获得N个单通道数据，这里N是自然数，代表通道的数量；按预设规则在第1至第N个单通道数据中获得一个种子通道，并根据种子通道构造一个新的时间轴，将新的时间轴和新的时间轴对应的数据值填入第一向量结构；按预设规则处理种子通道以外的其它M个通道的数据，并连接到第一向量结构，获得第一目标矩阵；同样，M是自然数。

进一步地，构造由T个第一目标矩阵形成的第一结构域；将第一结构域存入架构单元；对T个第一目标矩阵进行预设的处理获得T个第二目标矩阵；对T个第二目标矩阵进行封装获得T个第三目标矩阵；这T个第三目标矩阵形成了第一目标数据集。

进一步地，这里的预设处理至少包括下列方法之一：即转置处理、Array、AarrayBuffer、List、ListBuffer、Tuple、Tuple2、Tuple 3等等；这里的封装包括采用scale中的Seq列表结构。

进一步地，这里的原始数据包括：时间、信号数值、转换公式、字符串；且符合ASAM数据标准。