[发明专利]基于图形处理单元的自组织映射神经网络聚类方法及系统

说明书

技术领域

本发明涉及一种并行化的自组织映射神经网络聚类方法及系统，尤其涉及一种基于图形处理单元的并行化自组织映射神经网络聚类方法及系统。

背景技术

目前，随着计算机的普及，互联网的用户数持续不断的增长，互联网用户在网络上每天产生大量的信息。同时，一些具有大量用户的社会化媒体系统中，每天也有大量的新数据增加。数据挖掘和机器学习算法为我们从这些数据中提取有价值的信息提供了可行方法，但是大部分算法的学习流程复杂，需要迭代学习，处理海量数据所花费的时间较长。虽然有用信息被提取，但是信息可能已经不具有时效性，这就需要开发更快的算法或者采用更高性能的运算设备。采用高性能机器或CPU集群的方式固然能加快算法的运算过程，但是企业需要承担巨额的资金投入。目前，多核技术已经发展的相对成熟，图形处理单元(GPU)的数值计算性能远远超过了CPU的性能，利用GPU的多核特性，充分发掘算法的并行能力成为现今计算机科学的研究热点。

在数据挖掘领域，已经有部分数据挖掘算法通过改进使其能够运行于图形处理单元设备上，并取得了至少5-6倍的加速，有的甚至能达到20-30倍的加速效果。数据挖掘领域中一个重要的研究方向就是针对文本数据的挖掘，而文本聚类在文本挖掘领域中扮演着重要角色。聚类是依据数据的特征，根据数据之间的相似程度，聚集成不同的文本簇。根据统计，人类社会有80%的信息以文本为载体形式存在。文本聚类技术可以对文本数据有效组织、摘要和导航。

SOM网络是通过模拟人脑对外界信息处理的特点而设计的一种人工神经网络，是一种无监督的学习方法，非常适合于处理高维文本数据的聚类问题。SOM(Self-Organizing Mapping，简称“SOM”)网络无须用户指定聚类簇数，网络会在训练过程中自适应的进行聚类，对离群点噪音数据不敏感，具有很强的抗噪音能力。SOM根据训练样本中的样本分布规律进行聚类，对数据的形状不敏感。然而现有的SOM算法处理高维数据具有网络收敛速度慢，聚类时间长的特点。

文本聚类是数据挖掘技术中的一种，把文本文档资源按照指定的相似性标准划分为若干个簇，使得每一簇内部尽可能的相同，不同簇之间相似性尽可能小。文本聚类主要是依据著名的聚类假设：同类的文档相似度较大，而不同类的文档相似度较小。作为一种无监督的机器学习方法，聚类由于不需要预先的训练过程，以及不需要预先对文档手工标注类别，因此具有一定的灵活性和较高的自动化处理能力，已经成为对文本信息进行有效地组织、摘要和导航的重要手段，为越来越多的研究人员所关注。

发明内容

本发明解决的技术问题是：构建一种基于图形处理单元((Graphic Processing Unit,图形处理单元，简称“GPU”))的并行化自组织映射神经网络聚类方法及系统，克服现有技术在文本聚类过程中由于数据量大导致计算速度慢的技术问题。

本发明的技术方案是：提供一种基于图形处理单元的并行自组织映射神经网络聚类方法，包括如下步骤：

并行关键词词频统计：将文本内容进行分词并得到关键词的集合，并行统计文档中关键词的频率，得到词频矩阵；

并行特征向量计算：把关键词词频矩阵转化为对应的特征向量矩阵，每个特征向量代表一个文档。

并行SOM聚类：根据特征向量矩阵设计SOM网络结构，初始化SOM网络，并行计算输入样本与全部输出神经元权向量距离,比较各个距离的大小，获取最小距离的最佳神经元J，通过更新最佳神经元、其邻域内的神经元权向量值、学习率及最佳神经元的邻域大小，然后通过图形处理单元并行计算网络误差率E_t，若网络误差率E_t<=目标误差ε或迭代次数t>=训练最大迭代次数T,则SOM网络训练结束，否则重新进行新一轮训练；每次学习的结果使得最佳匹配神经元的邻域区域向输入数据向量值靠近，把距离相近的输入特征向量聚集成同一个簇，形成的簇集合即为最终的聚类结果。

本发明的进一步技术方案是：统计每篇文档关键词词频的过程相互独立，本发明为每篇文档设计一个线程统计词频，然后通过图形处理单元的多线程并行统计。

本发明的进一步技术方案是：每篇文档的特征向量计算过程相互独立，本发明为每篇文档设计一个线程计算特征向量，然后通过图形处理单元的多线程并发执行。其特征向量计算采用公式

x_ij=log₂(tf_ij+1.0)*log(m/m_j)，