[发明专利]一种文本并行数据挖掘系统及方法

说明书

本发明公开了一种文本并行数据挖掘系统及方法，其中系统包括：数据获取模块，所述数据获取模块用于获取多个原始文本数据集；数据清洗模块，所述数据清洗模块用于对所述原始文本数据集进行预处理，以得到对应的多个关键词条集；中央处理模块，所述中央处理模块用于根据所述关键词条集的数量进行解析，得到解析结果；线程配置模块，所述线程配置模块根据所述解析结果配置线程进行处理；数据存储模块，所述数据存储模块用于实时存储处理结果；本发明并行数据挖掘架构扩展了数据挖掘的应用范围，同时可根据需要优先处理出现频率较高的文本集。

技术领域

本发明涉及数据挖掘技术领域，更具体的说是涉及一种文本并行数据挖掘系统及方法。

背景技术

目前，数据挖掘是人工智能和数据库领域研究的热点问题，所谓数据挖掘是指从数据库的大量数据中揭示出隐含的、先前未知的并有潜在价值的信息的过程。而随着互联网的发展，网页上的文本信息增长快速，如何索引、检索、管理、挖掘网页上的海量文本信息已成为计算机科学领域所面临的一个巨大挑战。

但是，现有的文本数据挖掘架构大多采用复杂的数据算法，而且很少有数据挖掘系统中的数据挖掘算法实现了并行的方式，当数据量特别大的时候，这种模式会导致处理效率较低且处理过程较为繁琐。

因此，如何提供一种能够解决上述问题的文本数据挖掘系统是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种文本并行数据挖掘系统及方法，并行数据挖掘架构扩展了数据挖掘的应用范围，同时可根据需要优先处理出现频率较高的文本集。

为了实现上述目的，本发明采用如下技术方案：

一种文本并行数据挖掘系统，包括：

数据获取模块，所述数据获取模块用于获取多个原始文本数据集；

数据清洗模块，所述数据清洗模块用于对所述原始文本数据集进行预处理，以得到对应的多个关键词条集；

中央处理模块，所述中央处理模块用于根据所述关键词条集的数量进行解析，得到解析结果；

线程配置模块，所述线程配置模块根据所述解析结果配置线程进行处理；

数据存储模块，所述数据存储模块用于实时存储处理结果。

优选的，还包括：远程通讯服务器，所述远程通讯服务器用于当所述处理结果出现敏感词汇时远程发送提示信息。

优选的，所述中央处理模块包括：

解析单元，所述解析单元用于分析多个所述关键词条集得到对应的文件大小，以及出现相同关键词的概率；

调度单元，所述调度单元根据出现相同关键词概率按照由大到小的顺序排序，并综合分析所述关键词条集的文件大小对每个所述关键词条集权重分配，得到对应的排序结果。

优选的，所述线程配置模块包括：

线程负载获取单元，所述线程负载获取单元用于获取当前各个线程对应的负载大小；

线程分配单元，所述线程分配单元用于根据所述线程的负载大小以及所述调度单元的所述排序结果对分配任务，并计算是否存在任务剩余量；

线程设置单元，所述线程设置单元用于根据所述任务剩余量大小判断是否需要建立新线程。

优选的，本发明还提供一种文本并行数据挖掘方法，包括：

步骤S1：利用所述数据获取模块得到多个原始文本数据集；

步骤S2：利用数据清洗模块对所述原始文本数据集进行预处理，以得到对应的多个关键词条集；