[发明专利]一种基于非结构化海量数据的智能分析方法

权利要求书

1.一种基于非结构化海量数据的智能分析方法，其特征在于：

包括如下步骤：

S1：设定任务目标，针对任务目标设定有资料库；

S2：数据收集器将文件收集到资料库中；

S3：设置有标准模板，数据转换模块将所有文件按照标准模板转换成统一的文本格式存储到数据库中；

S4：数据处理模块针对数据库中的文本建立初步的术语-文本矩阵，其中矩阵的行代表文本，矩阵中的列代表术语，数据处理模块将术语-文本矩阵发送到审核端；

S5：专家通过审核端对术语-文本矩阵进行检验，剔除掉干扰词，缩小矩阵维度，得到最终术语-文本矩阵；

S6：设置有聚类模型，数据处理模块调用聚类模型对文本进行聚类分析，得到初步的主题标签，数据处理模块将该主题标签发送到审核端；

S7：专家对主题标签进行评估，专家对主题标签进行人工评估增删后，通过审核端将该分类标签保存到数据库中；

S8：数据处理模块用标注有分类标签的文本集作为训练数据，训练得到分类模型；

S9：数据处理模块调用训练好的分类模型对文本进行分类，将文本划分到对应的标签下面，得到分类文件集合；

S10：针对同一分类文件集合，数据处理模块选取不同时间节点的文件集，得到多组文件集合；

S11：数据处理模块对每组文件集合中的文件内容作概念关联分析；

S12：数据处理模块按照时间节点将同一分类下的关键概念组整理成报告发送到审核端；

S13：审核端将报告呈现可视化展示，方便观察到同一分类下关键概念及其发展趋势。

2.根据权利要求1所述一种基于非结构化海量数据的智能分析方法，其特征在于：所述聚类模型采用K均值聚类算法。

3.根据权利要求2所述一种基于非结构化海量数据的智能分析方法，其特征在于：所述数据收集器为网络爬虫。

4.根据权利要求3所述一种基于非结构化海量数据的智能分析方法，其特征在于：所述收集资料包括文本档案、XML文件、邮件、网页、语音。

5.根据权利要求4所述一种基于非结构化海量数据的智能分析方法，其特征在于：所述语音通过语音识别模型转换成文字脚本输入到资料库中。