[发明专利]一种基于MPI计算框架的并行PLSA方法

说明书

技术领域

本发明涉及自然语言处理领域，更具体地，涉及一种基于MPI计算框架的并行PLSA算法。

背景技术

PLSA算法是被广泛使用于自然语言处理及数据挖掘的一项基础技术，被众多科研工作者用于分析领域热点和趋势。它是一种非监督的文本数据挖掘关键技术，塑造了文本、话题、词语三者之间的隐含关系，可以挖掘出文本中的潜在语义信息，因此被广泛应用于文本聚类、用户主题发现。然而在大数据的背景下，传统的单机版本的PLSA算法复杂的建模过程使其难以处理海量数据，因此无法满足大数据时代的需求。这时候多机的分布式并行PLSA算法被提出。

当前，分布式并行PLSA算法主要通过当前热门的Hadoop技术来并行，Hadoop技术通过将文档划分为多个部分，每台机器分别处理不同的部分。但是分布式并行PLSA算法是基于EM算法来更新参数的迭代算法，而Hadoop技术是要在每次的迭代就写回硬盘的，所以在每次迭代时都要读写硬盘，因此这种并行方案的速度受到了很大的限制。

发明内容

本发明为解决以上现有技术的并行PLSA算法在每次迭代时需要读写硬盘而导致算法执行速度受到限制的缺陷，提供了一种基于MPI计算框架的并行PLSA算法，该方法在每次迭代时无需进行读写硬盘的操作，因此能够加快并行PLSA算法的执行速度。

为实现以上发明目的，采用的技术方案是：

一种基于MPI计算框架的并行PLSA算法，包括以下步骤：

S1.输入词频矩阵；

S2.MPI计算框架环境初始化；

S3.初始化MPI计算框架的执行环境并标识MPI计算框架的各个进程；

S4.MPI计算框架的各个子进程读入词频矩阵；

S5.MPI计算框架的主进程初始化初始概率矩阵P(d|z)、P(w|z)和p(z)，并将这三个矩阵的数据广播到不同的子进程中；其中P(d|z)表示给定主题z下文档d的概率，P(w|z)表示给定主题z下单词w的概率，P(z)表示主题z的概率；

S6.MPI计算框架的主进程计算P(d，w)并广播给所有子进程，P(d,w)表示文档d和单词w的联合概率；

S7.各个子进程根据其所读入词频矩阵的主题分别计算后验概率P(z|d,w)，然后更新其所读入词频矩阵的主题z的p(d|z)、p(w|z)、p(z)；

S8.各个子进程将其更新的p(d|z)、p(w|z)、p(z)发送给主进程，主进程更新整体的p(d|z)、p(w|z)、p(z)；

S9.根据似然函数的计算公式计算出当前迭代中的p(d|z)、p(w|z)、p(z)然后计算似然函数值，并判断是否满足迭代终止条件，若是则输出p(d|z)、p(w|z)、p(z)，否则重复执行步骤S6～S9。

优选地，所述子进程计算后验概率P(z|d,w)的具体过程如下：

优选地，子进程更新主题z的具体过程如下：

其中n(d,w)和n(d,w')表示文档d中的单词w'、w的词频总数。

与现有技术相比，本发明的有益效果是：

本发明提供的PLSA算法在每次并行迭代时无需进行读写硬盘的操作，而且从主题维度多机并行，因此能够加快并行PLSA算法的执行速度。

附图说明

图1为PLSA的两种概率图模型图。

图2为PLSA算法的流程图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

以下结合附图和实施例对本发明做进一步的阐述。

实施例1

图1为PLSA的概率图模型图。在该图模型中，d代表文档，z代表隐含类别或者主题，w为观察到的单词，P(d_i)表示单词出现在文档d的概率，P(z_k|d_i)表示文档d_i在主题z_k下的单词的概率，P(w_j表示z_k)给定主题z_k出现单词w_j的进程。并且每个主题在所有词项上服从多项式分布，而每个文档在所有的主题上也同样服从多项式分布。