[发明专利]一种基于Spark大数据平台的并行CRF方法

摘要

本发明请求保护一种基于Spark大数据平台的并行CRF算法，涉及数据挖掘技术和自然语言处理技术。首先，读取大规模数据集，进行数据初始化处理，将数据集划分为训练集和测试集。其次，获取特征模板，创建分布式训练数据集RDD和分布式特征模型RDD。再次，利用flatMap特征模型将训练数据转换成特征，通过整合相同的特征得到特征RDD，从而生成并行特征。然后，通过梯度计算更新特征权值，直到所有训练数据RDD更新完成，得到特征权值向量。最后，从HDFS上读取训练好的模型数据和测试数据，将测试数据执行特征抽取操作，利用特征权值向量计算得到最优预测标记序列，将输出存在HDFS中。本发明提高了CRF算法的高迭代效率。

主权项

1.一种基于Spark大数据平台的并行CRF算法，其特征在于，包括以下步骤：首先，读取大规模数据集，进行数据初始化处理，将数据集划分为训练集和测试集；其次，将训练集转换为Spark大数据平台的分布式数据集RDD，获取特征模型，将特征模型广播到全节点；再次，利用flatMap特征模型将训练数据转换成特征，过滤无效特征，然后通过整合相同的特征得到未使用的特征，实现生成并行特征；然后，将全节点每一个训练实例转换成特征向量FI和特征索引标量EI，实现训练数据的并行转换和中间数据缓存；通过梯度计算更新特征权值，每次迭代过程判断是否满足终止条件；根据HDFS上存储好的特征模型和测试数据RDD，利用特征权值计算测试数据转换Map,通过最大和置信算法得到预测标记序列。