[发明专利]基于历史分类器二次学习的数据流分类方法

说明书

本发明提出了一种基于历史分类器二次学习的数据流分类方法，旨在通过历史分类器的二次学习有效利用历史信息，提高动态数据环境下数据流分类的精度，包括如下步骤：获取训练数据和待分类数据；获取分类器；判断存档内存入的分类器数量是否满足要求；对存档中的分类器进行更新；对训练数据进行分类；对历史分类器进行二次学习，并构建分类器集成；对待分类数据进行分类；获取t＝m+1以后的待分类数据的分类结果；向用户输出待分类数据的分类结果。本发明在构建集成分类器时，通过对存档中历史存入的分类器进行二次学习，对历史信息进行纠正，从而有效的利用历史信息，提高动态数据环境下数据流分类的精度。

技术领域

本发明属于智能信息处理技术领域，特别涉及一种基于历史分类器二次学习的数据流分类方法，可用于天气预报、点击预测、网络数据处理和传感器网络监控等方面。

背景技术

数据流指以高速传输的规模巨大的数据序列，并只能以事先规定好的顺序被读取。在天气预报、点击预测、网络数据处理和传感器网络监控等应用中，工作人员需要对数据流中的数据进行分类，但是，由于数据流通常以非常高的速度传输，对数据流数据的计算、存储都将变得很困难，通常只有在数据最初到达时有机会对其进行一次处理，其他时候很难再存取到这些数据。此外，在动态数据环境下，数据流产生的数据是不稳定的，存在数据分布随时间改变的现象，即所谓的概念漂移。在处理动态数据环境下的数据流分类问题时，如何保存历史信息、如何使用历史信息以及如何维护历史信息都会影响数据流分类的精度。

动态数据环境下的数据流分类方法主要分为基于窗口的数据流分类方法、基于概念漂移检测的数据流分类方法和基于分类器集成学习的数据流分类方法。

基于窗口的数据流分类方法通过选择学习算法的训练数据来提供简单的遗忘机制，从而消除那些来自旧概念分布的样本。但是，由于窗口大小及一些参数选择的限制，导致该方法无法同时应对多种频率的概念漂移，导致数据流分类的精度降低。而在基于概念漂移检测的数据流分类方法中，算法需要对概念漂移进行检测，当算法检测到数据流中发生概念漂移时，算法做出反应，重新构建或调整分类器，应对概念漂移。概念漂移检测的效率限制该方法无法同时应对多种频率的概念漂移，同样导致数据流分类的精度降低。

基于分类器集成学习的数据流分类方法是在数据流分类中最流行的方法，该方法通过将保存的历史分类器与新训练的分类器进行集成，历史分类器保存了数据流的历史信息，通过利用历史信息，保证数据流分类的精度。但现有的方法多数采用盲目学习的方法，不能有效的利用历史信息，降低了数据流分类的精度。

为了提高数据流分类的精度，Ke Tang等人在其发表的论文“Concept DriftAdaptation by Exploiting Historical Knowledge”(IEEE Transactions on NeuralNetworks and Learning Systems,2018)中，公开了一种名为DTEL的动态数据环境下的数据流分类方法。该方法首先对数据流进行分块，其次，训练适量的分类器放入存档，然后，对存档中的分类器进行适应操作，并将进行适应操作后的分类器加权集成，最后，通过该集成对数据流中的数据进行分类。该方法首先提出了以基于多样性的方法维护历史信息，提升了对历史信息利用的效率，但其没有对错误的历史信息进行矫正，使用了含有错误信息的历史信息，导致数据流分类的精度受到一定程度影响。

发明内容

本发明的目的在克服已有技术存在的不足，提出一种基于历史分类器二次学习的数据流分类方法，旨在通过有效利用历史信息，提高动态数据环境下数据流分类的精度。

为实现上述目的，本发明采取的技术方案包括如下步骤：

(1)获取训练数据和待分类数据：