[发明专利]一种基于Hadoop的文档分类方法

权利要求书

1.一种基于Hadoop的文档分类方法，其特征在于，包括如下步骤：

(1)对训练用文档集进行预处理，将原始的文档转化成向量形式；

(2)将向量形式的数据上传至集群文件系统；

(3)所述集群文件系统对向量形式的数据进行分块处理；

(4)对分块处理后的数据进行map-reduce处理过程得到统计信息；

(5)根据统计信息训练分类器；

(6)利用得到的分类器对测试用的文档进行分类。

2.根据权利要求1所述一种基于Hadoop的文档分类方法，其特征在于：所述步骤(4)包括如下步骤：

1)从向量集中取出一个向量，判断该向量是带标记的数据还是无标记的数据，如果是带标记的数据转2)，否则转3)；

2)对于原始的文档中的每个单词发送两个键值对，转4)；

3)对于原始的文档中的每个单词发送一个键值对，转4)；

4)Hadoop自动收集由map过程发送过来的键值对，并且按照这些键值对的key值再重新发送到所述集群文件系统中的各个节点上去进行reduce过程；

5)在所述集群文件系统中的各个节点对接收到的键值对进行reduce处理。