[发明专利]一种分类器链局部检测与挖掘算法

说明书

技术领域

本发明涉及一种局部学习算法领域，特别是一种分类器链局部检测与挖掘算法。

背景技术

近年来，大数据已经在很多领域得到广泛应用，例如社会媒体分析，视频监控，网络安全监控等，这些都需要对原始数据流进行分析和处理获得实时的有价值的信息。现有处理资源有限的数据流挖掘问题的方法都是依赖负荷卸载，根据给定的数据特征决定舍弃的策略。由于舍弃的数据也会对下一个分类器起重要作用，因此，负荷卸载方法一般不能获得点对点的最佳效果。现有方法假设分类器的性能是已知的，并且需要分类器之间有效的信息交流，在实际应用中往往无法实现，同时这些方法不能进行分布式处理。

发明内容

有鉴于现有技术的上述缺陷，本发明的目的就是提供一种分类器链局部检测与挖掘算法，能够利用局部学习算法对用于处理大数据流挖掘问题的分类器链进行优化，能够选择最佳的分类结构，实时学习分类器的效果；数据处理过程仅需要数据集的一条路径，这样使得处理延迟和处理器的内存需求最小化。

本发明的目的是通过这样的技术方案实现的，分类器链局部检测与挖掘算法，它包括有：在周期n内选择一个分类器a(n)对期望奖励E{r(n)}进行最大化，设计的思路如下步骤：

S1：每一个分类器m都在周期n内选择一个分类函数a_m(n)∈F_m，a(n)代表了周期n内的分类器链；

S2：数据样例x(n)进入系统后，经过分类器链生成分类概念最终的分类结果可以表示为

S3：在周期结束时会显示根据真标签z(n)实现的总奖励r(n)和总成本d(n)；

S4：如果每个分类器的每个分类函数的精度和预期成本是已知的，则解决方案为：

即在每一个时间周期都选择相同的分类器链对预期奖励进行最大化；其中，a^*最佳分类器链。

进一步，设计所述算法前还包括有分类器链系统的构成设计，分类器链系统的构成设计步骤如下：

1)一个包含了Μ＝{1,2,…,M}个分类器的分布式大数据挖掘系统，这些分类器以一种预先决定好的次序串联在一起，未经处理的数据流依次经过这些分类器，假设m+1号分类器串联在m号分类器之后；

2)时间被分解为离散的周期，在每一个周期n内有一个数据样例x(n)进入系统；每一个数据样例都有一系列概念y(n)＝(y₁(n),…,y_M(n))，其中，y_m(n)∈Y_m，(Y_m为概念y_m(n)的值域)m＝1,…,M；这些概念是未知的，需要通过分类器进行挖掘；概念y₁(n),…,y_M(n)根据公式(1)共同决定了一个未知的实际真标签z(n)∈Z，Z为类别集合，σ为决定函数：

σ:Y₁×…×Y_M→Z. (2)

3)分类器链系统是为了确定一个数据样例是否属于目标范畴，即y_m(n)＝e_m∈Y_m，其中e_m为输入数据样例，然后其中，1(·)是一个指示函数，即分类器m∈M的任务是确保每一个概念y_m(n)都对应一个分类结果记为整合所有分类器的分类结果记为然后生成标签的最终分类；

4)每一个分类器m都要处理对应于概念m的分类问题，并维持一系列分类函数其中f_m,n(n＝1,2,3…K_m)为分类函数，K_m为分类器m的分类函数个数；假设对任意m，有K_m＝K，K为各个分类器统一设定的检测周期；在每一个时间周期n内，分类器m都要选择一个分类函数a_m(n)∈F_m对x(n)进行分类，因此，a(n)＝(a₁(n),...a_M(n))代表了在时间周期n内选择的分类器链。

进一步，所述步骤S4中的所述精度、所述预期成本、所述预期奖励概念定义如下：