[发明专利]一种基于ID3算法的数据分类方法

说明书

本发明公开了一种基于ID3算法的数据分类方法，包括以下步骤：利用均衡系数R(A_i)对ID3算法得到的信息增益Gain(A_i)进行优化，得到优化信息增益Gain(A_i)_new，根据优化信息增益Gain(A_i)_new得到决策树的根节点、各分支节点，对属性A_i进行分类。通过引入均衡系数R(A_i)、属性偏向阈T，实现对多值偏向性程度的度量和控制，能避免信息增益偏向取值较多的属性的问题，进而提高预测的准确率和ID3算法的实用性和有效性。

技术领域

本发明属于数据分类方法技术领域，涉及一种基于ID3算法的数据分类方法。

背景技术

由于软件技术和互联网技术的飞速发展，我们当前正处在一个信息爆炸的时代。随着数据库技术和数据挖掘技术的发展，人们可以高效地搜集和存储大量的数据，发现数据中存在的潜在关系和规则，预测未来的发展趋势，从而为决策者提供其决策支持所需要的有价值的信息。分类算法是数据挖掘中最常用的一种数据分析方法，分类算法的作用是能根据数据集准确地区分其所属的类别。当前的主要分类技术和方法有：贝叶斯分类法、规则归纳法、决策树、神经网络等。

决策树是一种比较常用的分类方法，它能从一组无序、无规则的数据中推测出以决策树形式表示的分类规则。该算法以构造简单，分类精确度高，所需信息量少，速度快，生成模式简单等优点成为知识获取的有效手段。目前，决策树广泛地应用在人工智能、数据挖掘、机器学习等领域，成为近年来人们研究的新热点，对整个社会的发展产生重大影响。

由Quinlan提出的ID3算法是目前最具有影响力的一种决策树构造算法。ID3算法由于其理论清晰，方法简单，学习能力较强，适合用于处理大规模的学习问题，是数据挖掘和机器学习领域中的一个极好范例，也是一种知识获取的有用工具。ID3算法的基础理论比较简单、清楚，具有以下优势：

(1)每一次的搜索都使用全部的训练样本，在一定程度上降低了个别噪声数据对构建的决策树的影响。

(2)构建的决策树简单、直观，能够很好地从中提取出易于理解的分类规则。

(3)擅长处理属性值为定性型的数据。

ID3算法虽是常用的分类算法，但其仍存在一些缺陷：

(1)ID3算法在选择信息增益作为分裂属性的选择标准时，存在属性偏向的问题，即偏向于优先选取取值较多的属性，而取值较多的属性往往不是最优的属性；

(2)ID3算法不能处理定量属性的问题。

ID3算法忽略这些问题生成的决策树就可能会与实际情况有所差别，会降低预测的准确率，降低该算法的实用性和有效性。

发明内容

本发明的目的是提供一种基于ID3算法的数据分类方法，解决了现有技术中存在的多值偏向性的问题。

本发明所采用的技术方案是，一种基于ID3算法的数据分类方法，包括以下步骤：

利用均衡系数R(A_i)对ID3算法得到的信息增益Gain(A_i)进行优化，得到优化信息增益Gain(A_i)_new，根据优化信息增益Gain(A_i)_new得到决策树的根节点、各分支节点，对属性A_i进行分类。

本发明的特点还在于，

步骤1、根据ID3算法得到属性A_i在训练集上的条件熵E(A_i)、信息增益Gain(A_i)；