[发明专利]一种文本并行数据挖掘系统及方法

权利要求书

1.一种文本并行数据挖掘系统，其特征在于，包括：

数据获取模块(1)，所述数据获取模块(1)用于获取多个原始文本数据集；

数据清洗模块(2)，所述数据清洗模块(2)用于对所述原始文本数据集进行预处理，以得到对应的多个关键词条集；

中央处理模块(3)，所述中央处理模块(3)用于根据所述关键词条集的数量进行解析，得到解析结果；

线程配置模块(4)，所述线程配置模块(4)根据所述解析结果配置线程进行处理；

数据存储模块(5)，所述数据存储模块(5)用于实时存储处理结果。

2.根据权利要求1所述的一种文本并行数据挖掘系统，其特征在于，还包括：远程通讯服务器(6)，所述远程通讯服务器(6)用于当所述处理结果出现敏感词汇时远程发送提示信息。

3.根据权利要求1所述的一种文本并行数据挖掘系统，其特征在于，所述中央处理模块(3)包括：

解析单元(31)，所述解析单元(31)用于分析多个所述关键词条集得到对应的文件大小，以及出现相同关键词的概率；

调度单元(32)，所述调度单元(32)根据出现相同关键词概率按照由大到小的顺序排序，并综合分析所述关键词条集的文件大小对每个所述关键词条集权重分配，得到对应的排序结果。

4.根据权利要求3所述的一种文本并行数据挖掘系统，其特征在于，所述线程配置模块(4)包括：

线程负载获取单元(41)，所述线程负载获取单元(41)用于获取当前各个线程对应的负载大小；

线程分配单元(42)，所述线程分配单元(42)用于根据所述线程的负载大小以及所述调度单元(32)的所述排序结果对分配任务，并计算是否存在任务剩余量；

线程设置单元(43)，所述线程设置单元(43)用于根据所述任务剩余量大小判断是否需要建立新线程。

5.一种文本并行数据挖掘方法，其特征在于，包括：

步骤S1：利用所述数据获取模块(1)得到多个原始文本数据集；

步骤S2：利用数据清洗模块(2)对所述原始文本数据集进行预处理，以得到对应的多个关键词条集；

步骤S3：利用所述中央处理模块(3)对多个所述关键词条集进行处理，并将处理结果发送至所述线程配置模块(4)；

步骤S4：所述线程配置模块(4)根据各挖掘线程当前的数据挖掘任务负载情况，将当前数据挖掘任务分配给数据挖掘任务负载较少的挖掘代理线程，并将结果发送至所述数据存储模块(5)进行存储。

6.根据权利要求5所述的一种文本并行数据挖掘方法，其特征在于，还包括：所述步骤S2中：当所述关键词条集中出现敏感词汇超过设定阈值时，通过所述远程通讯服务器(6)发送提示信息至工作人员。

7.根据权利要求5所述的一种文本并行数据挖掘方法，其特征在于，所述步骤S3还包括：

步骤S31：利用所述解析单元(31)分析多个所述关键词条集得到对应的文件大小，以及出现相同关键词的概率；

步骤S32：所述调度单元(32)根据出现相同关键词概率按照由大到小的顺序排序，并综合分析所述关键词条集的文件大小对每个所述关键词条集权重分配，得到对应的排序结果。

8.根据权利要求5所述的一种文本并行数据挖掘方法，其特征在于，所述步骤S4还包括：

步骤S41：利用所述线程负载获取单元(41)获取当前各个线程对应的负载大小；

步骤S42：利用所述线程分配单元(42)用于根据所述线程的负载大小以及所述调度单元(32)的所述排序结果对分配任务，并计算是否存在任务剩余量。