[发明专利]一种基于动态核发育的时序数据聚类方法及系统

说明书

本发明公开一种基于动态核发育的时序数据聚类方法及系统，该方法步骤包括：S01.配置初始核心并作为动态核分裂发育的起点；S02.获取当前新增时序数据，当前新增时序数据刺激各动态核，各动态核响应后得到对应的输出，选择输出最大的动态核作为获胜动态核，将获胜动态核的类别复制给当前新增时序数据；S03.使用记忆饱和度调控各动态核的分裂时机；S04.根据动态核的中心和覆盖域将更新后动态核集中各动态核聚为不同的类别，得到当前各动态核的聚类结果，返回步骤S02直至退出聚类。本发明能够实现动态核发育的数据聚类，具有实现方法简单、鲁棒性以及稳健性好且精度高以及灵活性强等优点。

技术领域

本发明涉及时序数据聚类技术领域，尤其涉及一种基于动态核发育的时序数据聚类方法及系统。

背景技术

随着网络技术的快速发展，视频、图像等数据的来源越来越广泛，对于获取的数据信息进行初始化处理变得越来越重要。在安保等方面，特别是在机场、口岸等人流密集区域，监控视频中出现的人脸信息更加复杂多样，而且大多数的人脸信息并不存在于原有数据库，并且这些信息大多是初次获取、逐步增加的，即是不断增加的时序数据。在实时视频流等时序数据中，通常需要对时序数据中的目标进行聚类，例如监控视频中的人脸图像的聚类、流水线任务中模具等的聚类，又如在物流等流水线式任务中，需要实时对传送带上的物体进行分类。

目前通常是采用如深度学习等的方法实现聚类，即对待聚类的样本进行降维和特征转换，从而将原始样本映射到新的特征空间中，使得生成数据更易被现有分类器分离。传统的深度聚类方法通常是按照以下流程实现：首先获得大量的任务样本，例如人脸图像，然后设计神经网络模型，使用大量的样本进行训练，得到合适的分类器模型。当新增样本进入时，通过训练好的分类器模型直接输出新增样本的类别。但是在样本量特别少导致没有先验知识的情况下就无法使用上述传统的聚类方法，如要聚类的样本通常是未知的，不可能出现在训练集中，而且聚类任务中算法接触是样本量很少，设置只有一个样本时，会通常导致网络无法进行训练，且在监控视频等任务中，需要实时的对视频内出现的人脸图像或是物体进行聚类，即只要出现新的目标信息，就要立刻给出其所属类别。因此采用通过大量样本训练的得到的网络并不适用于样本逐渐增加的动态聚类环境。

针对于时序数据采用传统的聚类方法时，具体会存在以下问题：

1)在执行聚类任务之前需要一次性获得所有类别中的样本信息，因而必须依赖于获得大量的样本信息。

传统的聚类算法通过需要在已知批量数据的前提下才能正常工作，精度高的前提是新增样本所属的类别在之前的训练样本中出现过，对于未曾出现过的样本则精度较差，因而算法在执行前需要一次性获取所有样本信息。例如采用深度聚类算法对样本进行聚类时，首先需要获得任务涉及的所有类别中的大量样本信息，并将这些样本分为训练集和测试集用以训练神经网络，从而得出有效的分类器。但是在实际应用中，时序数据是持续的数据流，就无法预先知道将要对哪种样本进行聚类，即新增数据的类别是未知的。

2)需要人为设定聚类数等先验参数。

在目前的大多数聚类算法中，通常都需要在聚类之前根据人为经验或先验知识确定聚类数或其他算法参数，例如k-means算法等需要指定k值，若聚类数k设定错误，将直接影响聚类结果的精度；DBSCAN等密度型算法需要设定两个先验参数，才能使得密度核心点准确的连接到一起。

3)″学习-应用″两个阶段相互独立无法形成关联。

目前聚类算法通常在学习阶段根据已有的大量样本学习得到一个很好的模型，然后在应用阶段只是使用学习阶段学好的模型而不对其进行调整。但大量的数据可能在聚类模型训练后才获取，而获取的数据可能与学习阶段的数据分布存在显著的差异。因此，在有限的学习样本条件下，很难通过先验知识获取能够适应动态增加的数据的合理的k值，并且根据先验设定的k值无法随数据的变化而调整，一旦学习阶段设定k值与应用阶段的数据分布失配，意味着前期的训练工作全部失效，需要重新开始训练，而有时前期的训练成本是十分高昂的。