[发明专利]一种分类方法及装置、计算机可读存储介质

说明书

本申请公开了一种分类方法及装置、计算机可读存储介质，所述方法包括：将特征数据输入预先建立的深度置信神经网络模型；通过多线程并行吉布斯抽样，根据抽样结果并行计算隐层与显层之间相互被激活的概率，并行更新每个神经元之间的权重以及偏置值；将更新后的每个神经元之间的权重以及偏置值作为初始化训练参数，对深度置信神经网络模型进行有监督训练；利用训练好的深度置信神经网络模型进行分类识别。本申请通过多线程并行吉布斯抽样以及并行更新每个神经元之间的权重以及偏置值，发挥了算法并行的优势，提高了系统的运算速度。

技术领域

本发明涉及计算机技术领域，具体涉及一种分类方法及装置、计算机可读存储介质。

背景技术

随着各行业数据的迅速增长和数据库、数据分析技术的不断发展，用于发现事先未知规则和联系的机器学习和数据挖掘技术已经用于市场分析、工业生产、金融、科学研究、Web信息分析以及工程诊断等领域，并取得较好效果。作为主要的数据分析模式，分类算法主要适用于预测分类标号或离散值，属监督性学习问题，通常先训练(用训练数据来训练模型，生成模型参数)再分类(用测试数据产生分类结果)，常用的分类算法包括决策树、贝叶斯、支持向量机、神经网络等。深度学习可基于原始数据分析并发现数据的分布式特征表示，优点是用特征学习和分层特征提取高效算法替代手工获取特征，近些年引起了更广泛的关注。

但是，现有的数据挖掘算法应用于海量数据的处理速度和输入/输出(Input/output，I/O)瓶颈一直存在着限制，应用并行运算可改善这些问题。图形处理器(GraphicsProcessing Unit，GPU)作为一种重要的并行加速方式，正被广泛的应用于深度学习中。CUDA(Compute Unified Device Architecture)和OpenMP(Open Multi-Processing)被用于基于神经网络的文本检测系统，可在单指令流下同时处理多个数据流，提高了GPU存储空间的利用率，局限是数据并行方式没有发挥算法并行的优势。国内外互联网公司为深度学习的研究搭建了各种GPU集群，可在多台GPU服务器上进行神经网络模型的训练，但设备规模较大，成本较高。

发明内容

为了解决上述技术问题，本发明提供了一种分类方法及装置、计算机可读存储介质，能够提高系统的运算速度。

为了达到本发明目的，本发明实施例的技术方案是这样实现的：

本发明实施例提供了一种分类方法，包括：

将特征数据输入预先建立的深度置信神经网络模型；

通过多线程并行吉布斯抽样，根据抽样结果并行计算隐层与显层之间相互被激活的概率，并行更新每个神经元之间的权重以及偏置值；

将更新后的每个神经元之间的权重以及偏置值作为初始化训练参数，对深度置信神经网络模型进行有监督训练；

利用训练好的深度置信神经网络模型进行分类识别。

进一步地，所述通过多线程并行吉布斯抽样，根据抽样结果并行计算隐层与显层之间相互被激活的概率，并行更新每个神经元之间的权重以及偏置值，包括：

并行吉布斯抽样，同时抽取显层上每个神经元的值，计算每个隐层神经元被显层神经元激活的概率值：

其中i∈[0,M],j∈[0,N]，v为显层数据值，h为隐层数据值，M为显层神经元个数，N为隐层神经元个数；W为权重，b为显层偏置值，c为隐层偏置值；

通过隐层h⁽⁰⁾重构显层v⁽¹⁾，再次并行吉布斯抽样，计算显层神经元被隐层神经元激活的概率值：