[发明专利]并行化数据分析方法

说明书

本发明提供了一种并行化数据分析方法，该方法包括：建立用于文本数据分析的Map/Reduce并行计算环境；在业务集的每一个节点上启动一个文本挖掘进程；将各个节点上独立运行的并行进程组织为并行程序。本发明提出了一种并行化数据分析方法，从进程管理和缓存管理角度改进了MAPRUDUCE的并行框架，更好地适应文本数据挖掘的需要；并且针对社交文本的不规范特点，利用语义向量对文本数据进行有效表示和分析，适用于各种规模的社交文本挖掘分析和计算。

技术领域

本发明涉及大数据挖掘，特别涉及一种并行化数据分析方法。

背景技术

大数据尤其是社交网络数据蕴涵着巨大的商业价值和社会价值，有效地管理和利用这些数据、挖掘数据的价值对企业和个人将带来巨大的影响。另一方面，大数据带来新的发展机遇的同时，也带来很多技术挑战。传统的信息处理与计算技术已难以有效地应对大数据的处理。大规模社交网络数据的有效处理面临数据的存储、算法分析等多个层面上的主要技术困难。巨大的数据量使得传统的单机机器学习和数据挖掘算法都难以在可接受时间内完成计算，导致算法失效。以即时通信数据为例，由于实时更新性和变化性的特点，数据量的剧增会使自然语言处理及机器学习过程变得更加复杂，而当前的并行计算环境的总体架构并不适用于文本数据的高效并行处理，特别是进程管理和缓存管理上并未与文本挖掘算法所需要的存储和分布式计算架构相匹配；再者，文本的不规范增加了用户对信息理解和事件发现的困难程度，最终导致数据分布出现严重的不平衡。此外还存在中文词缺乏语义表示的问题，使得传统方法不能完全适用于对社交文本的分析和计算，因此难以实现信息的智能化、人机交互和自动问答。

发明内容

为解决上述现有技术所存在的问题，本发明提出了一种并行化数据分析方法，包括：

建立用于文本数据分析的Map/Reduce并行计算环境；

在业务集的每一个节点上启动一个文本挖掘进程；

将各个节点上独立运行的并行进程组织为并行程序。

优选地，还包括，首先向云端资源管理器申请计算节点，为单个业务分配的所有节点将共同组成业务集。

优选地，选择一个进程作为主进程，其余进程作为分进程。

优选地，所述将各个节点上独立运行的并行进程组织为并行程序，进一步包括：

对程序的代码进行修改，将主函数修改为可被各并行进程执行的函数。

优选地，所述主进程维护的文档元数据缓存，分进程维护本地文档缓存以及分进程所开启的工作线程和数据线程。

优选地，在进程管理器调度执行业务的Map/Reduce进程之前，首先调度并执行文档初始化进程，然后向进程管理器请求执行进程。

优选地，所述调度并执行文档初始化进程，然后向进程管理器请求执行进程，具体包括：

初始化完成之后，进程管理器等待一轮心跳通信的时间周期，以获知某个进程管理器有空闲的Map/Reduce时隙并且该进程管理器向进程管理器请求执行进程；

当接到该心跳信息之后，进程管理器将调度该文档初始化进程到该进程管理器上执行；对应的进程管理器负责执行文档初始化进程，并在执行过程中通过周期性的心跳通信向进程管理器汇报该进程的状态直至进程完成。

本发明相比现有技术，具有以下优点：

本发明提出了一种并行化数据分析方法，从进程管理和缓存管理角度改进了MAPRUDUCE的并行框架，更好地适应文本数据挖掘的需要；并且针对社交文本的不规范特点，利用语义向量对文本数据进行有效表示和分析，适用于各种规模的社交文本挖掘分析和计算。

附图说明

图1是根据本发明实施例的并行化数据分析方法的流程图。