[发明专利]一种基于Spark大数据平台的并行CRF方法

说明书

本发明请求保护一种基于Spark大数据平台的并行CRF算法，涉及数据挖掘技术和自然语言处理技术。首先，读取大规模数据集，进行数据初始化处理，将数据集划分为训练集和测试集。其次，获取特征模板，创建分布式训练数据集RDD和分布式特征模型RDD。再次，利用flatMap特征模型将训练数据转换成特征，通过整合相同的特征得到特征RDD，从而生成并行特征。然后，通过梯度计算更新特征权值，直到所有训练数据RDD更新完成，得到特征权值向量。最后，从HDFS上读取训练好的模型数据和测试数据，将测试数据执行特征抽取操作，利用特征权值向量计算得到最优预测标记序列，将输出存在HDFS中。本发明提高了CRF算法的高迭代效率。

技术领域

本发明属于云计算、数据挖掘、自然语言处理等领域，提供了一种基于Spark 大数据平台的并行CRF算法。

背景技术

随着信息社会的快速发展，互联网产生的数据随着指标等级的快速增长，通常具有数量多，维数高，结构复杂，噪声大等特点，具有广泛的应用前景。传统的时序数据处理算法不足以分析这种大量的数据，特别是对于高迭代计算的机器学习模型。

条件随机场(CRF)恰恰是这种模型：具有大量计算参数评估的条件概率模型。它在图像分类，生物医学和文本内容等诸多领域得到了广泛的应用，取得了令人满意的结果。CRFs模型的优势在于表现了长距离相关性和重叠性，与生成性统计模型相比，具有显着的优越性。作为另一个概率图模型，隐马尔可夫模型(HMMs)不能使用复杂的特征来进行严格的独立假设。此外，CRFs可以克服其他判别模型中存在的标签偏差问题，如最大熵马尔可夫模型(MEMMs)等。

但是对于参数较多的模型，CRF的训练时间通常是比其他机型更长。当面对大规模数据时，传统的独立处理算法的CRF模型的时间效率往往不尽人意。例如，传统的CRF模型需要大约45小时不到400个训练样例(3.0GHz CPU，1.0G 内存和400次迭代)。它是由模型参数估计周期长的问题引起的，因为它需要计算所有特征的全局梯度。随着训练数据的增长，标签种类数和特征数的增加，算法的时间复杂度呈现非线性增长。昂贵的训练成本是非常重要的问题之一，使CRF不能有效地应用到大数据量的应用中。为了克服这个瓶颈，在并行计算平台中更快的处理和优化算法已经成为一个非常活跃的研究领域。

Spark是一个基于内存的分布式计算系统，是由UC Berkeley AMPLab实验室于2009年开发的开源数据分析集群计算框架。拥有MapReduce的所有优点，与MapReduce不同的是.Spark将计算的中间结果数据持久地存储在内存中，通过减少磁盘I/O。使后续的数据运算效率更高。Spark的这种架构设计尤其适合于机器学习、交互式数据分析等应用.这些应用都需要重复地利用计算的中间数据。在Spark和Hadoop的性能基准测试对比中，运行基于内存的logistic regression，在迭代次数相同的情况下，Spark的性能超出HadoopMapReduce 100 倍以上。两者之间在计算过程中也存在一些不同之处，比如MapReduce输出的中间结果需要读写HDFS，而Spark框架会把中间结果保存在内存中。这些不同之处使Spark在某些工作负载方面表现得更加优越，换句话说，Spark启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。而弹性分布式数据集(RDD，ResilientDistributed Datasets)是Spark 框架的核心数据结构，它具备像MapReduce等数据流模型的容错特性，并且允许开发人员在大型集群上执行基于内存的计算。Spark将数据集运行的中间结果保存在内存中能够极大地提高性能，资源开销也极低，非常适合多次迭代的机器学习算法。