[发明专利]基于给定用户偏好的加权分类器模型中权重的学习方法

说明书

本发明属于机器学习和数据挖掘技术领域，公开了一种基于给定用户偏好的加权分类器模型中权重的学习方法；随机生成若干个权重向量做为一个种群中的个体；对于每一个权重向量根据表达式计算出加权分类器模型对于所有样本类别的预测值，然后根据预测结果和代价矩阵计算出分类错误总代价，即所有被误分类样本的分类错误代价之和；按照某一比例从权重向量集合中选出分类错误总代价较小的权重向量，并对选出的向量进行编码、交叉、变异遗传操作，产生一个新的权重向量集合；对上个步骤中新生成的权重向量重复进行第二步～第三步，直至达到迭代停止的条件；经过解码后得到的权重向量使分类错误总代价达到最小值的最优权重向量。

技术领域

本发明属于机器学习和数据挖掘技术领域，尤其涉及一种基于给定用户偏好的加权分类器模型中权重的学习方法。

背景技术

目前，业内常用的现有技术是这样的：现实生活中往往存在这样的分类问题，那就是不同的分类错误会造成不同的代价，这类问题被称为代价敏感分类问题。例如，在银行欺诈检测系统中，把一个正常用户错分成欺诈用户可能会带来一些不必要的核查手续或者使得银行流失一个客户；但如果反过来，把一个欺诈用户错误地分成正常用户，则通常会给银行带来数额较大的损失。代价敏感分类问题通常关联着训练数据分布的不平衡。不平衡数据指的是数据集合中的样本在不同类别上分布的数目相差甚大。在这里，把含有样本数目较多的类别称为大类，反之，称为小类。在解决传统的分类问题时，一般假设训练数据集在各个类别上分布的数目大致相等，并且每种分类错误造成的代价大致相同。然而在许多实际的应用问题中，这样的假设并不成立，即大部分分类问题都是代价敏感分类问题。在这种情况下，如果仍然使用传统的分类算法以最大化分类准确率为目标来构造分类器，则小类样本往往会比大类样本更容易被分错，而且错分一个小类样本的代价会比错分一个大类样本的代价更高，这样就很难得到期望的预测效果。例如，在垃圾邮件过滤系统设计这个问题当中，常规邮件的数目N₀会远远大于垃圾邮件的数目N₁，假设N₀:N₁＝99:1，此时一个传统的分类器只要把所有的样本都分成常规邮件，就能得到99％的分类准确率，但这个分类器对于识别垃圾邮件完全没有作用。

在处理代价敏感分类问题时，通常会假定用户能提供一个二维矩阵，并且矩阵中的每个元素表示一种分类错误造成的代价大小，称该矩阵为代价矩阵或用户偏好，其通常表示为：

其中m表示样本的类别数，c_ij表示将第i类样本错分成第j(i,j＝1,2,…,m)类的代价。在代价敏感分类问题中，代价矩阵C一般具有这样的性质：当i≠j时，c_ij≠c_ji；当i＝j时，c_ij＝0.

根据代价矩阵和分类器对各个样本的分类情况，能够得到分类器对所有被错分样本的分类错误总代价，其计算方法是所有被误分类样本的分类错误代价之和。代价敏感分类问题的主要研究内容是：如何在保持大类样本分类精度可接受的前提下，提高小类样本的识别率，即如何最小化分类错误总代价。

为了解决代价敏感分类问题，学者们已经提出了很多解决方案，其中被公认的一种有效方法是基于加权最小二乘模型构造分类器，简称加权分类器。该方法通过给不同类别的样本分别赋予不同的权重，使得原来在传统分类问题中很容易被忽视的小类样本拥有与大类样本同等的被重视程度，从而避免了小类样本容易被错分成大类的问题产生，其中的权重指的是每一类样本的权重，即属于同一类别的样本具有相同的权重。权重的分配情况会大大影响到加权分类器的性能。然而，通常情况下加权分类器模型中的权重是未知的，目前尚未发现用来找到合适的权重以使分类器的分类错误总代价达到最小的有效方法。

综上所述，现有技术存在的问题是：通常情况下加权分类器模型中的权重是未知的，目前尚未发现用来找到合适的权重以使分类器的分类错误总代价达到最小的有效方法。

解决上述技术问题的难度：