[发明专利]一种基于大数据的计算机数据挖掘探索方法及系统

说明书

本发明涉及一种基于大数据的计算机数据挖掘探索方法及系统，其方法包括以下步骤，采集计算机数据，形成原始大数据；对原始大数据进行预处理，并存入数据仓库；基于支持向量机、模式查询和数据挖掘工具构建数据挖掘模型，并利用数据挖掘模型在数据仓库中进行数据挖掘；得到挖掘数据；基于遗传算法对挖掘数据进行探索分析，得到挖掘探索信息。本发明采用网络爬虫抓取数据的方式进行数据的收集整理，采用数据的全量抽取和增量抽取的方式进行数据的提取、转换、加载并存入数据仓库供数据挖掘和数据探索作铺垫，并利用支持向量机、模式查询和数据挖掘工具进行数据挖掘，以及利用遗传算法进行数据探索，可以全面高效的挖掘出大数据中的有效信息。

技术领域

本发明涉及大数据领域，具体涉及一种基于大数据的计算机数据挖掘探索方法及系统。

背景技术

对于大数据，往往不能直接读取其中隐含的信息，也不容易从大量的信息中看出某个事物的发展趋势；这样数据挖掘就应运而生，数据挖掘是人工智能和数据库领域研究的热点问题，所谓数据挖掘是指从数据库的大量数据中揭示出隐含的、先前未知的并有潜在价值的信息的非平凡过程。数据挖掘是一种决策支持过程，它主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，高度自动化地分析企业的数据，作出归纳性的推理，从中挖掘出潜在的模式，帮助决策者调整市场策略，减少风险，作出正确的决策。然而，传统的数据处理方法是人工数据处理。虽然这种方法很容易实现，但是数据挖掘不够全面且效率低。

发明内容

本发明所要解决的技术问题是提供一种基于大数据的计算机数据挖掘探索方法及系统，可以全面高效的挖掘出大数据中的有效信息。

本发明解决上述技术问题的技术方案如下：一种基于大数据的计算机数据挖掘探索方法，包括以下步骤，

S1，采集计算机数据，形成原始大数据；

S2，对所述原始大数据进行预处理，并存入数据仓库；

S3，基于支持向量机、模式查询和数据挖掘工具构建数据挖掘模型，并利用所述数据挖掘模型在所述数据仓库中进行数据挖掘；得到挖掘数据；

S4，基于遗传算法对所述挖掘数据进行探索分析，得到与与所述原始大数据相关联的挖掘探索信息。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述S1具体为，利用网络爬虫实时收集整理计算机数据，形成原始大数据。

进一步，所述S2具体为，对所述原始大数据进行去噪和归一化处理，并存入数据仓库。

进一步，利用所述数据挖掘模型在所述数据仓库中进行数据挖掘的具体步骤为，通过支持向量机对所述数据仓库中的大数据进行分类，结合Sql查询、交互查询和搜索查询的方式并利用数据挖掘工具在分类后的大数据中进行挖掘。

本发明的有益效果是：本发明采用网络爬虫抓取数据的方式进行数据的收集整理；其次，采用数据的全量抽取和增量抽取的方式进行数据的提取、转换、加载并存入数据仓库供数据挖掘和数据探索作铺垫，并利用支持向量机、模式查询和数据挖掘工具进行数据挖掘，以及利用遗传算法进行数据探索，可以全面高效的挖掘出大数据中的有效信息。

基于上述一种基于大数据的计算机数据挖掘探索方法，本发明还提供一种基于大数据的计算机数据挖掘探索系统。

一种基于大数据的计算机数据挖掘探索系统，包括以下模块，

采集模块，其用于采集计算机数据，形成原始大数据；

数据仓库模块，其用于对所述原始大数据进行预处理，并存入数据仓库；

数据挖掘模块，其用于基于支持向量机、模式查询和数据挖掘工具构建数据挖掘模型，并利用所述数据挖掘模型在所述数据仓库中进行数据挖掘；得到挖掘数据；