[发明专利]基于样条插值与数据并行的数据处理方法

摘要

本发明提供一种基于样条插值与数据并行的数据处理方法，包括将原始监测数据集按顺序分割为Q个数据子集，对于每个数据子集，采用唯一对应的线程进行处理，处理方法为对于被处理的数据子集，生成三次样条函数；在其样条曲线上，等间距采集数据点，形成新的数据子集；再用原数据子集标志数据点替换新的数据子集对应位置的数据点，形成处理后数据子集。将各线程处理后的数据子集拼接成最终数据集。本发明提供的基于样条插值与数据并行的数据处理方法具有以下优点不论输入的原始监测数据的维数大于期望数据维数，还是小于预期数据维数，均可以高效快速的将原始监测数据的维数调整到期望数据维数，并且还能最大程度的保留原始数据所蕴含的信息。

主权项

一种基于样条插值与数据并行的数据处理方法，其特征在于，包括以下步骤：步骤1，设定目标维数，其值为M；设定并行线程数，其值为Q；将Q个并行线程依次记为线程1、线程2、…、线程Q；步骤2，接收待处理的原始监测数据集；步骤3，将所述原始监测数据集按顺序分割为Q个数据子集，将Q个数据子集按顺序依次记为数据子集P1、数据子集P2、…、数据子集PQ；步骤4，将数据子集P1分配给线程1；将数据子集P2分配给线程2；依此类推，将数据子集PQ分配给线程Q；分别设定线程1、线程2、…、线程Q需取样的取样点数，将取样点数依次记为U1、U2、…、UQ，使U1+U2+…+UQ＝M；步骤5，并行运行线程1、线程2、…、线程Q；其中，对于任意的线程i，其采用以下方式对数据子集Pi进行处理，其中，i∈(1、2、…、Q)：步骤5.1，假设数据子集Pi共包括b个数据，按顺序排列依次为数据X1、数据X2、…、数据Xb；以数据X1、数据X2、…、数据Xb为节点，生成数据X1、数据X2、…、数据Xb的三次样条函数fi(x)；步骤5.2，在三次样条函数fi(x)所对应的样条曲线上，等间距采集Ui个数据点，形成新的数据子集Pi’；步骤5.3，分析数据子集Pi，定位到数据子集Pi中的标志数据点及其第1位置信息；步骤5.3中，所述标志数据点包括数据子集Pi中的最大值数据点、最小值数据点和零值数据点；所述第1位置信息是指：数据子集Pi共包括b个数据，假设标志数据点为第a个数据点，则其第1位置信息等于a/b；然后，在新的数据子集Pi’中，定位到与第1位置信息最为接近的第1’位置信息；最后，将新的数据子集Pi’中第1’位置信息所对应的数据替换为数据子集Pi第1位置的标志数据，从而形成数据子集Pi”；步骤6，线程1、线程2、…、线程Q分别对数据子集P1、数据子集P2、…、数据子集PQ进行处理后，形成数据子集P1”、数据子集P2”、…、数据子集PQ”；将数据子集P1”、数据子集P2”、…、数据子集PQ”按次序依次拼接成最终数据集；该最终数据集即为维数为目标维数M且最大程度的保留原始数据所蕴含的信息的数据集。