[发明专利]基于样条插值与数据并行的数据处理方法

说明书

技术领域

本发明属于数据处理技术领域，具体涉及一种基于样条插值与数据并行的数据处理方法。

背景技术

微机监测系统是保证列车安全运行、监测各信号设备运行状态的重要设备，微机监测系统通过对采集到的信号设备监测数据进行分析，可及时发现信号设备运行中的安全隐患，也可以分析各信号设备运行过程中产生故障的原因，从而指导现场维修，提高信号部门维修水平和故障处理效率。

然而，受信号设备自身健康状况的变化、环境因素的干扰以及其他未知因素的影响，由微机监测系统采集到的信号设备监测数据的维数有可能有较大的变化，例如，对于道岔启动电流，在某个连续时间段，可能采集到700个位于不同时间点的道岔启动电流数据，即：该连续时间段所对应的道岔启动电流数据的维数是700；而在另一连续时间段，可能采集到2000个位于不同时间点的道岔启动电流数据，即：该连续时间段所对应的道岔启动电流数据的维数是2000；经实践证明，在不同的连续时间段，道岔启动电流的数据维数可能在700-3000的范围内变化。

然而，微机监测系统对采集到的信号设备监测数据进行分析时，普遍采用智能算法模型，例如神经网络、深度学习，或其他人工智能算法。上述智能算法模型基本都要求输入数据的维数固定不变。否则，会给模型的建立、算法的实现带来很大的困难。

因此，对于微机监测系统采集到的维数不固定的原始监测数据，如何在尽量保留原始监测数据所包含的信息的前提下，使其数据维数调整到固定维数，从而能够输入到智能算法模型中，具有重要现实意义，现有技术中尚未出现有效的解决方案。

发明内容

针对现有技术存在的缺陷，本发明提供一种基于样条插值与数据并行的数据处理方法，可有效解决上述问题。

本发明采用的技术方案如下：

本发明提供一种基于样条插值与数据并行的数据处理方法，包括以下步骤：

步骤1，设定目标维数，其值为M；设定并行线程数，其值为Q；将Q个并行线程依次记为线程1、线程2、…、线程Q；

步骤2，接收待处理的原始监测数据集；

步骤3，将所述原始监测数据集按顺序分割为Q个数据子集，将Q个数据子集按顺序依次记为数据子集P₁、数据子集P₂、…、数据子集P_Q；

步骤4，将数据子集P₁分配给线程1；将数据子集P₂分配给线程2；依此类推，将数据子集P_Q分配给线程Q；

另外，分别设定线程1、线程2、…、线程Q需取样的取样点数，将取样点数依次记为U₁、U₂、…、U_Q，使U₁+U₂+…+U_Q＝M；

步骤5，并行运行线程1、线程2、…、线程Q；

其中，对于任意的线程i，其采用以下方式对数据子集P_i进行处理，其中，i∈(1、2、…、Q)：

步骤5.1，假设数据子集P_i共包括b个数据，按顺序排列依次为数据X₁、数据X₂、…、数据X_b；以数据X₁、数据X₂、…、数据X_b为节点，生成数据X₁、数据X₂、…、数据X_b的三次样条函数f_i(x)；

步骤5.2，在三次样条函数f_i(x)所对应的样条曲线上，等间距采集U_i个数据点，形成新的数据子集P_i’；

步骤5.3，分析数据子集P_i，定位到数据子集P_i中的标志数据点及其第1位置信息；

然后，在新的数据子集P_i’中，定位到与第1位置信息最为接近的第1’位置信息；最后，将新的数据子集P_i’中第1’位置信息所对应的数据替换为数据子集P_i第1位置的标志数据，从而形成数据子集P_i”；