[发明专利]基于子空间降维的高维数据多变点检测方法、系统、设备及介质

说明书

本发明公开了一种基于子空间降维的高维数据多变点检测方法、系统、设备及介质，所述方法包括以下步骤：获取所述降维后数据的多变点检测结果，所述降维后数据的多变点检测结果为所述原始高维数据的多变点检测结果。本发明提供的高维数据多变点检测方法，通过数据均值和κ阶中心矩的偏差诱导出的子空间降维方法，该方法可以在完整保留原始数据变化情况的情况下缩减变量的维数，从而准确地估计变点的数目和位置，尤其是对于变化幅度小的数据而言；此外，该方法可以从多种数字特征的变化中检测变点，例如均值和中心距。

技术领域

本发明属于高维数据多变点检测领域，特别涉及一种基于子空间降维的高维数据多变点检测方法、系统、设备及介质。

背景技术

随着信息时代的到来，高维数据在建模和分析中常常面临“模型突变”的困扰，寻找高维数据的结构突变的点(即变点检测)是高维数据统计推断的关键问题。变点检测指检测一组数据中有多少结构突然变化的点并找出结构突变的具体位置。在一些重要的应用领域中，通常会观察到结构突变的数据，产生这种突变的原因往往具有特殊意义，例如经济事件引起的股票数据变化、与特定疾病相关的基因序列等。自从变点的概念提出以来，变点检测即在金融建模、生物信息学、音频信号处理、神经科学等领域得到了广泛的研究。

发展至今，低维数据的变点检测技术趋于成熟，常用方法有：BinarySegmentation(BS)方法，该方法的计算复杂度较低，且算法较简单，因此是许多变点检测方法的基础；Optimal Partition(OP)方法效率很高，但与之对应的是更高的计算复杂度；Pruned Exact Linear Time(PELT)方法是对OP方法的改进，它提高了OP方法的计算效率；Wild Binary Segmentation(WBS)方法则是对BS方法的改进，使BS方法更加灵活。

早期的研究往往是对低维数据的变点检测问题展开的，而由于数据收集方法的发展和进步，高维数据在近代的数据科学中越来越常见，甚至出现了维度大于样本个数的情况。低维数据的变点检测方法难以适应高维数据的分析，因此在最近的十几年中，出现了一些对高维数据的变点检测问题的研究。目前方法存在的缺陷主要包括：

(1)Sparsified Binary Segmentation(SBS)方法是BS方法在多元数据的拓展，关键步骤在于“稀疏化”，一般选择设置一个阈值应用于每个数据序列上，只有在阈值化后保留的数据在变点检测过程中产生贡献，但是该方法对于变化幅度小的数据不能很好地确定变点的具体位置和数目。

(2)Inspect方法是一种两阶段方法，首先求得一个合适的投影方向使得其与表示均值向量变化一致，然后将一维数据变点检测算法应用于投影序列，从而检测某些时间点坐标的稀疏子集中均值向量的变化，该方法的缺点在于不能从其他数字特征的变化中检测变点，例如在协方差发生变化的情况。

发明内容

本发明的目的在于提供一种基于子空间降维的高维数据多变点检测方法、系统、设备及介质，以解决上述存在的一个或多个技术问题。本发明提供的高维数据多变点检测方法，是通过数据均值和κ阶中心矩的偏差诱导出的子空间降维方法，该方法可以在完整保留原始数据变化情况的情况下缩减变量的维数，从而准确地估计变点的数目和位置，尤其是对于变化幅度小的数据而言；此外，该方法可以从多种数字特征的变化中检测变点，例如均值和中心距。

为达到上述目的，本发明采用以下技术方案：

本发明的一种基于子空间降维的高维数据多变点检测方法，包括以下步骤：

将原始高维数据进行降维处理，获得降维后数据；

获取所述降维后数据的多变点检测结果，所述降维后数据的多变点检测结果为所述原始高维数据的多变点检测结果；

其中，所述将原始高维数据进行降维处理，获得降维后数据的步骤具体包括：