[发明专利]一种基于项集熵的数据挖掘方法

说明书

技术领域

本发明涉及数据挖掘关联规则领域，尤其涉及一种基于项集熵的数据挖掘方法。

背景技术

数据挖掘指的是从大型数据库或数据仓库中提取人们感兴趣的知识，这些知识是隐含的、事先未知的潜在有用信息。数据挖掘是一个高级的处理过程，它从数据集中识别出以模式来表示的知识。高级的处理过程是指一个多个步骤的处理过程，多个步骤之间相互影响、反复调整，形成一种螺旋式上升过程。常用的数据挖掘工具和方法有分类、聚类、关联规则、模式识别、可视化、决策树、遗传算法、不确定性推理等。

关联规则是形式如下的一种规则,“在购买面包和黄油的顾客中,有的人同时也买了牛奶”面包十黄油牛奶。用于关联规则发现的主要对象是事务型数据库,其中针对的应用则是售货数据,也称货篮数据。一个事务一般由如下几个部分组成事务处理时间,一组顾客购买的物品,有时也有顾客标识号如信用卡号。

数据项的关联是指两个或多个数据项的取值重复出现且概率很高时，这就说明它们存在着某种关联，可以建立起这些数据项的关联规则。找出数据库中隐藏的关联网是关联分析的主要目的。我们通常用“支持度”和“可信度”这两个阀值来去除和挖掘无关的规则。如果存在两个项集X，Y，它们存在形如X→Y的蕴含式，并且满足X∈I，Y∈I，且那么我们就把X叫做规则前项或者前件，Y就叫做规则后项或者后件。上面蕴含式的含义是若项集X在某一时刻出现，那么项集Y也会在同一交易中按照某一概率同时出现。关联规则的支持度和置信度是两个非常重要的标志，分别表示对所发现规则在整个数据库中进行统计的重要性和可靠程度。一般来说，在进行关联规则挖掘之前，要预先设定两个值，即最小支持度阀值(min_sup)和最小置信度阀值(min_conf)，我们只关心那些有用的关联规则，它们的支持度大于等于最小支持度阀值，置信度大于等于最小置信度阀值。我们把这些用户感兴趣的规则叫做“强规则”。

以数据挖掘技术来辅助用户发现隐含的数据安息，实际上是以数据分析、挖掘为手段，为用户提供决策支持。淘宝曾经提出过一个关于数据化运营的理解：“以企业海量数据的存储和分析挖掘应用为核心支持的，企业全员参与的，以精准、细分和精细化为特点的企业运营制度和战略”。

发明内容

本发明所要解决的技术问题是克服数据集中数据记录和数据项重要性不同而导致挖掘结果精度低下的问题，提供一种基于项集熵的数据挖掘方法。

本发明解决上述技术问题的技术方案如下：一种基于项集熵的数据挖掘方法，包括以下步骤：

步骤1：对采集的数据进行预处理，转化为同纬度的事务数据集存放到数据库；

步骤2：检索数据库，获取单项集和多项集的支持度；

步骤3：根据项集熵计算单项集的权值，根据单项集的权值计算单项集的加权支持度；

步骤4：去除加权支持度不满足支持度阈值的单项集，得到加权频繁1项集；

步骤5：根据单项集权值计算多项集的权值，根据多项集的权值计算多项集的加权支持度；

步骤6：去除加权支持度不满足支持度阈值的多项集，得到加权频繁多项集；

步骤7：根据满足置信度阈值的加权频繁项集的加权支持度和置信度得到改进关联规则。

本发明的有益效果是：本发明引入了项集熵的概念来对关联规则进行改进，提升了关联规则进行数据挖掘时的精度，根据不同项目的重要性，给予不同的权值，权值的不同大小体现了项目的重要程度不同，能够挖掘出传统算法忽略掉的信息。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步地，所述步骤1包括：

步骤1.1：异常数据清除、错误纠正及重复数据清除；

步骤1.2：将数据通过数据概化转换成适用于数据挖掘的形式；

步骤1.3：将数据按条数存储在数据库中并编号。

进一步地，所述步骤2包括：

步骤2.1：遍历数据库；

步骤2.2：统计各个项集的出现次数；

步骤2.3：按出现次数从大到小的顺序生成单项集临时表；

步骤2.4：根据临时表中各个项集的出现次数与总事务数据集数的比值得到各个项集支持度。

进一步地，所述步骤3包括：

步骤3.1：根据信息熵的特性得到项集熵