[发明专利]一种基于非结构化海量数据的智能分析方法

说明书

一种基于非结构化海量数据的智能分析方法，通过设定任务目标，针对任务目标设定有资料库。数据收集器将文件收集到资料库中。设置有标准模板，数据转换模块将所有文件按照标准模板转换成统一的文本格式存储到数据库中；设置有聚类模型对文本进行聚类分析得到文本的主题类型标签，专家对机器聚类生成的类型作人工辅助调整，接着设置的分类模型对文本按照调整好的类型进行分类，在同一分类下分别按照时间节点做关联分析，有效的发现概念随着时间线的演化。

技术领域

本发明涉及计算机领域，具体涉及一种基于非结构化海量数据的智能分析方法。

背景技术

大数据时代，网络上随时都在产生大量的文本数据，例如，邮件、网页、文档、语音等。为了对现有数据进行利用，我们需要更加全面的对收集到的庞大的数据信息进行分析处理，从中分析和挖掘出有价值的信息。现有技术中，产生的原始数据越来越多的是非结构化数据，对这些原始数据使用之前主要是通过人工进行标注清洗处理，随着信息量增加，光是靠人工处理，一方面，重复工作容易出错，另一方面，随着数据增加，人工前期进行清洗标注效率也不高，很容易出错。因此，如何利用机器算法辅助人工对这些原始数据进行高效的分析和提炼始终是本领域的需要解决的问题。

发明内容

本发明针对现有技术的不足，提出一种基于非结构化海量数据的智能分析方法，具体技术方案如下：

一种基于非结构化海量数据的智能分析方法，其特征在于：

包括如下步骤：

S1：设定任务目标，针对任务目标设定有资料库；

S2：数据收集器将文件收集到资料库中；

S3：设置有标准模板，数据转换模块将所有文件按照标准模板转换成统一的文本格式存储到数据库中；

S4：数据处理模块针对数据库中的文本建立初步的术语-文本矩阵，其中矩阵的行代表文本，矩阵中的列代表术语，数据处理模块将术语-文本矩阵发送到审核端；

S5：专家通过审核端对术语-文本矩阵进行检验，剔除掉干扰词，缩小矩阵维度，得到最终术语-文本矩阵；

S6：设置有聚类模型，数据处理模块调用聚类模型对文本进行聚类分析，得到初步的主题标签，数据处理模块将该主题标签发送到审核端；

S7：专家对主题标签进行评估，专家对主题标签进行人工评估增删后，通过审核端将该分类标签保存到数据库中；

S8：数据处理模块用标注有分类标签的文本集作为训练数据，训练得到分类模型；

S9：数据处理模块调用训练好的分类模型对文本进行分类，将文本划分到对应的标签下面，得到分类文件集合；

S10：针对同一分类文件集合，数据处理模块选取不同时间节点的文件集，得到多组文件集合；

S11：数据处理模块对每组文件集合中的文件内容作概念关联分析；

S12：数据处理模块按照时间节点将同一分类下的关键概念组整理成报告发送到审核端；

S13：审核端将报告呈现可视化展示，方便观察到同一分类下关键概念及其发展趋势。

2、根据权利要求1所述一种基于非结构化海量数据的智能分析方法，其特征在于：所述聚类模型采用K均值聚类算法。

3、根据权利要求1所述一种基于非结构化海量数据的智能分析方法，其特征在于：所述数据收集器为网络爬虫。

4、根据权利要求1所述一种基于非结构化海量数据的智能分析方法，其特征在于：所述收集资料包括文本档案、XML文件、邮件、网页、语音。