[发明专利]基于混淆矩阵对大数据进行分类的方法

权利要求书

1.一种基于混淆矩阵对大数据进行分类的方法，其特征在于包括以下步骤：

第一步、对大数据进行数据类别粗分，得到N类数据，具体方法为：依据大数据样本的特征将大数据样本分为N类，将分为N类的大数据用大数据集D来表示，D＝[D₁,D₂,…,D_i,…D_N]，N为D中的类别数目，N为正整数，D_i表示D中第i个类别的分类样本的集合，1≤i≤N，d_ij表示D_i中第j个样本，并且每个类别的第一个样本d_i1为标本，即第一个样本的分类经确认与真实类别一致，1≤j≤m_i，m_i为D_i中的样本个数，为正整数；

第二步、统计D中的总样本数TN，方法为：将D中的样本数求和，即：

第三步、构建面向D的分类判定混淆矩阵P，具体方法如下：

3.1.基于监督分类原理，为D₁,D₂,…,D_i,…D_N建立数据类别标签tag₁,tag₂,…,tag_i,…tag_N，tag_i为D_i的类别标签；

3.2.对D₁,D₂,…,D_i,…D_N中的样本类别进行第二次判定，判定规则为：将每个样本定义为一个二元组d_ij＝<K_i,R_j>，K_i表示D_i的关键特征集合，R_j表示D_i中样本d_ij的非关键特征集合；关键特征集合是判定样本类别的充分条件，即样本d_ij只要具有K_i包含的所有关键特征就可以判定数据类别，非关键特征集合是判定样本类别的必要但非充分条件，即样本d_ij只要属于某种数据类别就可能具有R_j中的特征，但具有该特征并不能立刻判定样本类别，同一类别的样本必须满足下列条件之一：

条件①：两个样本的关键特征集合相同；

条件②：两个样本的关键特征集合相似，并且必要特征集合相同；

其中，集合相同表示两个集合包含的元素个数相同并且每一个元素也相同；集合相似表示两个集合包含的元素个数相同并且60％以上的元素相同；

3.3.统计D_i中的样本被标识为tag_i'类别的数目，具体方法如下：

3.3.1.定义变量i＝1；

3.3.2.定义变量i'＝1；

3.3.3.定义变量j＝1；

3.3.4.定义变量p_ii'＝0；

3.3.5.若样本d_ij被标识为标签tag_i'，p_ii'＝p_ii'+1，否则，转3.3.6；

3.3.6.j＝j+1；

3.3.7.若j≤m_i，转3.3.5，否则，3.3.8；

3.3.8.i'＝i'+1；

3.3.9.若i'≤N，转3.3.3，否则，转3.3.10；

3.3.10.i＝i+1；

3.3.11.若i≤N，转3.3.2，否则，转3.4；

3.4.构建分类判定混淆矩阵P，如公式(1)所示：

P=p11p12......p1Np21p22......p2N............pi1...pii′...pii...piN.........pN1pN2......pNN----(1)]]>

公式(1)中，p_ii'表示测试样本实际属于i类而被判定为i'类的样本个数，p_ii为第i类别被正确分类的样本数目；

第四步、计算面向D的分类精度OA，具体方法如下：

OA=Σi=1NpiiTN---(2)]]>

第五步、核算面向D的分类有效精度EA，方法如下：

EA=Σi=1NpiiΣi=1NΣj=1mipij---(3)]]>

第六步、输出OA和EA，结束。

2.如权利要求1所述的基于混淆矩阵对大数据进行分类的方法，其特征在于对D₁,D₂,…,D_i,…D_N中的样本类别进行第二次判定的具体方法如下：

3.2.1.定义变量i＝1；

3.2.2.定义变量j＝1；

3.2.3.定义变量i'＝1；

3.2.4.定义变量j'＝1；

3.2.5.判定样本d_ij是否与D_i'同类，步骤如下：

3.2.5.1.若num(K_i)≠num(K_i')，转3.2.5.8，否则，转3.2.5.2；

3.2.5.2.K_i≠K_i'，转3.2.5.3，否则，转3.2.5.7；

3.2.5.3.若R_j≠R_j'，转3.2.5.8，否则，转3.2.5.4；

3.2.5.4.令集合变量

3.2.5.5.Tmp＝K_i∩K_i'；

3.2.5.6.若集合K_i与K_i'相似，满足条件②，转3.2.5.7，否则，转3.2.5.8；所述num(X)表示集合X的元素个数；

3.2.5.7.给样本d_ij贴上标签tag_i'；

3.2.5.8.i'＝i'+1；

3.2.5.9.若i'≤N，转3.2.5；否则，转3.2.5.10；

3.2.5.10.j＝j+1；

3.2.5.11.若j≤m_i，转3.2.3，否则，转3.2.5.12；

3.2.5.12.i＝i+1；

3.2.5.13.若i≤N，转3.2.2，否则，第二次判定结束。