[发明专利]一种多尺度分类数据挖掘方法

说明书

本发明涉及大数据的数据挖掘方法中的多尺度分类挖掘方法，是典型的跨学科课题，旨在将多尺度科学与分类技术相结合，多方位对数据进行分析，得到不同层次分类模型，学习更全面的信息，本发明从空间数据估计和尺度转换角度入手，给出一种多尺度分类挖掘方法，其中基于多尺度自相似性，平滑细节信息，采用非局部均值加权滤波思想，利用Q统计实现从小尺度数据集到大尺度数据集的知识推导，尺度上推算法运用在多尺度分类挖掘中具有较高的准确度和较低的时间复杂度，在效率上优于常规的基准算法，且在性能上也有更好表现。

技术领域

本发明涉及计算机信息处理技术领域，具体为用于数据挖掘分支中的分类挖掘方法。

背景技术

随着高科技发展和信息化时代的到来，文本、视频、音频等信息的数据量急剧增加，如何从海量数据中快速、准确地获取对人们有利的信息，成为函需解决的重要问题，数据挖掘就是为了满足这种要求而迅速发展起来的，用于从大量数据中搜索隐藏在其中的信息，被公认为是最具发展前景的关键技术之一，数据挖掘应用范围广泛，可以有效解决“数据泛滥”与“知识贫乏”的矛盾，数据挖掘以数据库技术为支撑，融合不同领域知识进行操作，挖掘数据中隐含的信息，这使得其在社会发展中发挥着重要的作用。

分类挖掘是数据挖掘中比较活跃且很重要的一种研究方法，可以用于获取数据潜在的信息，目前分类挖掘己经被广泛地应用于诸多领域，如电子商务领域、经济金融领域、医疗保健领域、数据统计领域等，但是随着应用领域的扩大，应用需求的增加，单一的分类算法难以满足现有需求，全方位、多层次、多尺度进行学习的分类模型成为研究的重点，如今对一般数据集进行多尺度探索已经初见成效，但针对一般数据集下的多尺度分类挖掘还有待完善，故而提出一种多尺度分类挖掘方法，来解决上述问题。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了用于多尺度分类挖掘的数据挖掘方法，解决了现有技术方案存在的模型复杂度高，数据挖掘效率低的问题。

(二)技术方案

为实现上述降低模型复杂度，在保证准确率的前提下提高效率，本发明提供如下技术方案：

用于多尺度分类的数据挖掘方法，其特征在于，包括以下步骤：

1)构建多尺度数据集，多尺度数据集是进行多尺度分类挖掘的基础，属于前期准备工作，主要针对数据的多尺度特性进行研究，通过采取对数据划分或变换的方法，得到多个尺度的数据，从而构造多尺度数据集；

2)基准尺度选择，基准尺度是数据挖掘获得信息的尺度，是进行尺度推衍的基础，确定基准尺度，对后续的尺度转换具有重要意义，不同尺度得到的信息量不同，所以此步骤尤为重要；

3)知识尺度转换，基于前两步得到的信息，根据不同领域的实际特点，选取合适的尺度转换机制，并采用高效的尺度推衍方法，从而得到其它尺度上的信息，其中：

尺度转换部分使用了尺度上推算法，尺度上推(Scaling-Up)指在将多尺度数据集中低层次尺度知识经过尺度转换，得到高层次尺度知识，是由微观信息推导得到宏观信息的过程；尺度上推算法是从小尺度信息推衍到大尺度信息，本质是信息“聚集”的过程，尺度上推实质在于保留宏观特征，减少围观特征带来的影响，其涉及到多层次，多方面信息，多样性强，准确性高，尺度上推效果相对较好。

尺度上推算法基本思想：首先，基于概率密度估计离散化的方法构建多尺度数据集；其次，将三支决策与多尺度相结合选择基准尺度，并使用现有的分类算法对基准尺度数据进行分类，挖掘分类结果；再次，尺度分类结果之间的关系，基于相似值构造相似度矩阵；然后，将基准尺度分类结果作为已知样本点，根据非局部均值指数平滑滤波计算基准尺度对目标尺度的权重系数；最后，加权求取目标尺度分类模型。