[发明专利]一种基于智能分析的海量数据样本增量分析方法

权利要求书

1.一种基于智能分析的海量数据样本增量分析方法，其特征在于，包括如下步骤：

步骤1、利用原始训练数据集D学习出当前分类器C；

步骤2、用当前分类器对未标注类别标签的新增训P练集T进行分类，针对每一个未标记的新增训练样例，利用Q一学习算法计算其Q值，从T中选择有利于提高当前分类器精度的新增训练实例，并赋予其标签CP，添加到训练集D中；

步骤3、利用新增样本修正分类器参数，直到新增训练集T中的全部实例加入训练集D中。

2.根据权利要求1所述的海量数据样本增量分析方法，其特征在于，衡量分类器精度的标准是分类器在测试集S上的分类精度。

3.根据权利要求1所述的海量数据样本增量分析方法，其特征在于，步骤2中，构建基于Q－学习的增量分类模型的马尔科夫决策过程(MDP)，进行相关元祖的计算。

4.根据权利要求3所述的海量数据样本增量分析方法，其特征在于，所述增量分类模型，其对应一个五元组E＝X,A,P,R,γ，X为状态空间，表示智能分析代理所感知的状态，A为动作空间，说明机器学习过程中当前状态可以采用的动作，P则是状态转移概率，R是奖励函数，用于限制机器学习的走向，γ是折扣因子，用于认为的对机器学习过程进行限制。

5.根据权利要求3所述的海量数据样本增量分析方法，其特征在于，计算过程中，将现有数据集定义为D，增量数据标记为T，设定一个W参数，使得系统在特定状态下出现负无穷值，出现死循环。

6.根据权利要求3所述的海量数据样本增量分析方法，其特征在于，在构建过程中，需要输入数据集D，增量数据T＝{t₁...t_m}，折扣因子γ，动作空间ε∈P，输出的结果是用于之后分析的分类器C。

7.根据权利要求6所述的海量数据样本增量分析方法，其特征在于，构建过程为：

初始化Q＝0

For ep isode＝1，2，...，m do

Forj＝1，2，...，m do

若返回c

否则，用数据集D训练分类器c(θ_j-1)，并更新分类器参数

用当前分类器c(θ_j-1)对新增训练集T中的每个元素t_i分类，每个元素得到所属分类的概率p_lk(t_i,θ_j-1)(其中l_k为类别标签)

以概率ε从T中随机选择动作a_i＝t_p

计算

计算

T＇＝T－t_p，T←T′

D′＝D+{t_p,l_p}，D←D′

End for

End for

计算增量序列