[发明专利]并行化数据分析方法

权利要求书

1.一种并行化数据分析方法，其特征在于，包括：

建立用于文本数据分析的Map/Reduce并行计算环境；

在业务集的每一个节点上启动一个文本挖掘进程；

将各个节点上独立运行的并行进程组织为并行程序；

采用挂载分布式内存缓存的文件系统，将与每个节点上的数据线程共同合作，完成对分布式缓存数据的读取；

基于上述并行计算环境，将语义向量引入文本挖掘和扩展中进行文档数据挖掘；

给定检索语句，使用通用的停用词表对初始检索中的词进行过滤，保留有意义的检索词；

使用语义块模型对词汇进行语义向量表示；

在语义向量的基础之上针对每个初始检索词采用余弦相似度从其它词汇中找出与之相似度最接近的m个词，作为扩展检索词；

使用初始检索中对应的扩展检索词在初始检索语句中进行替换，将新生成的检索词序列作为扩展检索语句；根据扩展检索词的排列组合得到不同表达形式的扩展检索语句；

将文本向量模型应用于文档摘要检索；

所述将文本向量模型应用于文档摘要检索，进一步包括：

在得到多个文档文本后，将每个文本分解为语句；以标点分隔符，对所有文档中的语句进行切分操作，将所有语句作为一个新的检索库；

对摘要进行检索，第一次检索采用与文档检索中相同的检索扩展检索，使用语义向量扩展词组成的扩展检索语句通过预定义搜索引擎工具对语句进行检索，得到语句的排序结果Rank_E；第二次检索采用文本表示模型，将检索语句作为目标文本，检索库中的语句作为待比较文本，并分别对所有文本进行语义向量，并计算目标文本与待比较文本之间的相似度，得到相似度的排序结果Rank_S；

通过线性组合的方式，综合两次排序结果，得到最终的重排序结果：

Rank＝α×Rank_EU+(1-α)×Rank_SU

其中，Rank_EU和Rank_SU分别表示Rank_E和Rank_S归一化后的排序得分，α为线性组合参数。

2.根据权利要求1所述的方法，其特征在于，在得到扩展检索词的过程中，采用基于局部语境和全局语境的语义块向量，对文档数据集中所涉及到的所有词语进行训练，并从模型参数中提取出用于表示这些词语的语义向量；

在给定一个检索语句时，经过停用词处理后，得到一个包含关键初始检索词的序列，即：

Q＝(q₁,q₂,…,q_t)

其中，q_i表示序列中依次出现的词语，并且存在相对应的语义向量；使用余弦相似度将每一个初始检索词的语义向量与词典中其它的语义向量做相似度计算，并将计算结果降序排列，取出相似度最高的m个语义向量对应的词语；将这m个词作为的检索扩展词，即：

P_i＝{p_i1,p_i2,…p_im}

其中，p_im表示根据初始检索词q_i的语义所扩展得到的与其语义相近的第m个检索扩展词，集合P_i中的每一个检索扩展词都可以作为初始检索词q_i的替换词；即初始检索语句可以通过替换其任何初始检索词来形成新的检索语句，即：

Q₀＝(t₁,t₂,…,t_t)

其中，t_i∈{q_i，p_i1,p_i2,…p_im},表示新的检索语句中第i个位置的检索词。

3.根据权利要求1所述的方法，其特征在于，还包括，首先向云端资源管理器申请计算节点，为单个业务分配的所有节点将共同组成业务集。

4.根据权利要求1所述的方法，其特征在于，选择一个进程作为主进程，其余进程作为分进程。