[发明专利]一种基于分布式互信息文档特征提取方法

权利要求书

1.一种基于分布式互信息文档特征提取方法，其特征在于：所述方法包括以下步骤：

步骤1：进行文档集合，并对文档进行初始化；

步骤2：计算文档中分词出现的频率和不同分类中分词的互信息值，从而选择出特征词集合；

步骤3：计算所有特征词的权值，从而形成最终的文档向量集合。

2.根据权利要求1所述的基于分布式互信息文档特征提取方法，其特征在于：所述步骤1中，对文档进行初始化包括文档的分词简化处理以及分布式表示。

3.根据权利要求2所述的基于分布式互信息文档特征提取方法，其特征在于：所述步骤1包括以下步骤：

步骤1-1：设D={d₁，d₂，...，d_j，...，d_N}表示语料库，d_j表示语料库中每个文档，N表示语料库所有文档的数目；

F={f₁，f₂，...，f_k，...，f_|F|}表示特征词集合，|F|表示特征词的总数量，其中0<k≤|F|，k属于整数，f_k表示每个特征词；

C={c₁，c₂，...，c_s，...，c_|C|}表示文档类别集合，c_s表示每个文档类别，|C|表示文档类别的数量；

TF={tf₁₁，...，tf_ij，...，tf_MN}表示分词频率集合，其中i代表分词的序号，j代表文档的序号，M代表所有文档出现的分词数目，N代表语料库所有文档的数目，该集合中的元素代表分词t_i在文档d_j中出现的频率；

步骤1-2：将语料库中的所有文档转换为容易读取的文档，然后将语料库D中易读取的文档进行分词处理，得到的分词结果包括分词的内容和分词的类型，将这些分词处理后的文档作为MapReduce的输入分片，将这些输入分片分布在多个DataNode上，方便进行并行处理；

步骤1-3：将这些输入分片中的分词进行简化处理，简化处理包括去除停顿特征词、标点符号以及单个字的分词，简化处理的过程如下：

由任务A进行处理，所述任务A的输入分片即是分词处理后的文档，其中每个文档都作为单独输入数据分片，任务A的Map阶段的输入键值对为<<filename，texttype>，context>，filename代表文件名，texttype代表文档的分类名称，context代表文档的所有内容，任务A的Map阶段根据文档中的分词类型，去除停顿特征词和长度小于一个汉字长度的分词，任务A的Map阶段的输出键值对为<<filename，texttype，word>，1>，其中word代表每个文档中的分词，其中值1，代表出现一次，该输出键值对作为任务A的Reduce阶段的输入。

4.根据权利要求1所述的基于分布式互信息文档特征提取方法，其特征在于：所述步骤2中，利用MapReduce计算分词的词频，通过连续的3个子Mapreduce进行分词的互信息值的计算。