[发明专利]基于正负对约束数据的KL距离训练得到属性列权重的方法

说明书

技术领域

本发明属于数据挖掘领域，具体地说是一种基于正负对约束数据的KL距离训练得到属性列权重的方法。

背景技术

词袋模型(Bag-of-word Model)最初用于对表示成文本的自然语言处理及信息检索中，它忽略其词序和语法、句法，将其仅仅当成词的组合，文本中每个词的出现都是独立的。目前，词袋模型被扩展到图像和视频帧的表示，应用及其广泛。

KL距离（Kullback-Leibler Divergence），也叫做相对熵（Relative Entropy）。它是衡量相同事件空间里的两个概率分布的差异情况。其物理意义是：在相同事件空间里，对概率分布P(x)的事件空间，用概率分布Q(x)编码时，平均每个基本事件（符号）编码长度增加的比特数。对于离散型的概率分布：                                                

当KL距离越小时，P和Q就越接近；反之亦然。KL距离具有如下性质：

在实际问题中，获取实例标记相对困难，很多问题往往只能提供正负对信息，即已知指定两个实例属于同一类或属于不同类。显然，正负对信息比标记弱，如何利用这些正负对信息指导数据挖掘很多操作是工程中亟待解决的问题。

发明内容

本发明的目的是提供一种基于正负对约束数据的KL距离训练得到属性列权重的方法，该方法基于预处理之后正负对集合P、N构成的矩阵，进而建立集合P和N上的加权KL距离(KL-divergence)的优化模型，最后通过二次规划优化算法训练出二元矩阵中每一属性列的权重。该方法能高效、准确地得到属性列权重，实现数据挖掘。

本发明的目的是通过以下技术方案来实现的：

一种基于正负对约束数据的KL距离训练得到属性列权重的方法，其特征在于：该首先建立正对数据集和负对数据集的预处理数据结构，该数据结构包含了二元数据集，其中正对数据集为标记正对的相关实例数据集合，负对数据集为标记负对的相关实例数据集合，进而在数据集基础上分别计算加权KL距离；其次，根据二次规划优化算法，最终训练得到二元数据集矩阵中每一属性列的权值；具体如下：

1）预处理输入数据集；输入数据由标记的正对数据集合和负对数据集合组成，这两个数据集为稀疏二元矩阵，该矩阵由项instance实例数据行及其d项属性列构成一个阶矩阵，其中表示数据集属性a的出现频率f；

2）正对和负对数据集预处理；对数据集进行平滑处理、规格化处理；

3）分别计算正对集合、负对集合的加权KL距离；

4）使用二次规划算法优化求解；利用加权距离训练出每一属性列上的权重。

本发明的初始输入是由已标记正负对数据集合的二元矩阵构成，矩阵每一行表示为一个实例数据集，矩阵每一列表示为属性数据列，元素值、，其中表示数据集属性标识(attribute)，表示相应的数据集标识出现频率(frequency)。对于矩阵中实例数据行如果数据属性属于同一类，则其属于正对数据集合P，否则属于负对数据集合N。数据集表示对于实例数据在第列数据属性上正对；表示对于实例数据在第i列数据属性上负对。

本发明中训练方法主要基于预处理之后正负对集合P、N构成的矩阵，进而建立集合P和N上的加权KL距离(KL-divergence)计算的优化模型，最后通过二次规划优化算法训练出二元矩阵中每一属性列的权重。该方法能高效、准确地实现数据挖掘。

附图说明

图1是本发明具体实施的流程图。

图2是使用本发明前后文本聚类性能对比图。

具体实施方式

本发明的具体实施流程如图1所示，在实施过程中首先需要建立正对数据集和负对数据集的预处理数据结构，该数据结构包含了计算所需的二元数据集，其中正对数据集为标记正对的相关实例数据集合，负对数据集为标记负对的相关实例数据集合，进而在数据集基础上分别计算加权KL距离；其次，根据二次规划优化算法优化求解，最终训练得到矩阵中每一属性列的权值。具体实施方式如下所示：