[发明专利]互联网数据分析系统

说明书

技术领域

本申请涉及一种数据挖掘（data mining）技术，特别是涉及一种对互联网数据进行分析的方法。

背景技术

数据挖掘是指从大量的数据中揭示出隐含的、先前未知的并有潜在价值的信息的过程。它主要基于人工智能、机器学习、模式识别、统计学、数据库、数据检索等技术来实现上述目标。

现有的数据挖掘过程使用一种或者固定的几种数据分析算法构建出数据分析系统，由于每种算法都具有各自的优势和劣势，往往造成数据分析结果之间产生偏差，导致基于数据分析的上层业务应用难以进行决策。

发明内容

本申请所要解决的技术问题是提供一种互联网数据分析系统，可根据不同行业需求对互联网数据按照一种或多种算法同时进行挖掘分析，实现各种算法的优势互补。

为解决上述技术问题，本申请互联网数据分析系统包括：

数据预处理模块，从互联网的网页信息中提取其主要内容，过滤而得到每个网页对应的文本；对获取的文本首先由分词器得到多个分词，再经过特征值降维仅保留突出该文本特征的分词；

数据分析模块，根据分析要求，从分类算法、聚类算法、关联规则算法、特殊规则算法这四类算法中选择相应的一类对多类算法，每类算法中采用一种或多种算法，对所述数据预处理模块输出的每个网页所对应的经过降维后的分词各自独立地进行处理，并存储分析结果。

本申请互联网数据分析系统中包含了四类数据分析算法，每一类算法中又可采用一种或多种算法并可任意替换。这便避免了使用单一数据挖掘算法造成数据分析结果不准确的缺陷，或在使用一种算法的基础上再使用其它算法时需要进行系统的二次开发的时间成本，提高了数据分析的效率和准确率。

附图说明

图1是本申请互联网数据分析系统的结构示意图；

图2是本申请互联网数据分析系统用于对互联网网站进行分类的一个实施例的实施方法流程图。

图中附图标记说明：

10为数据预处理模块；20为数据分析模块。

具体实施方式

请参阅图1，本申请互联网数据分析系统包括数据预处理模块10和数据分析模块20。

所述数据预处理模块10从互联网的网页信息中提取其主要内容，过滤掉标签等无用信息，从而获取每个网页对应的文本。对获取的文本首先由分词器进行有效切分而得到多个分词，再经过特征值降维从中过滤掉不太重要的分词，仅保留可以明显突出该文本特征的分词。

所述数据分析模块20根据分析要求，从分类算法、聚类算法、关联规则算法、特殊规则算法这四类算法中选择相应的一类或多类算法，每类算法中采用一种或多种算法，对所述数据预处理模块10输出的每个网页所对应的经过降维后的分词数据进行处理，并存储分析结果。

所述分类（classi fica tion）算法主要是通过对已知类别的文本进行训练，得出训练模型，从而根据模型对待处理的数据进行分类。分类算法适用于在已经规定了类别的前提下，对数据进行分类。常见的分类算法有svm算法、贝叶斯（bayes）算法、随机森立（ramdom forest）算法等。

所述聚类（clustering）算法又称为无监督学习算法，主要通过tf-idf（term frequency–inverse document frequency、词频-反文档频率）、idf（inverse document frequency、反文档频率）等算法将文本中的分词转换为向量，通过比较文本中对应向量的距离与设定阈值的大小，从而对这些文本进行分类。聚类算法适用于在类别未知的前提下，对数据进行分类。常见的聚类算法有k-means算法等。

所述关联规则(Association Rules)算法主要是从大量数据中获取数据之间的关联关系。关联规则算法适用于从海量数据中寻求各数据之间的关联性。例如，美国沃尔玛超市发现婴儿尿布与啤酒被同时采购的概率很高，经分析发现年轻爸爸在为孩子采购尿布的同时往往为自己采购啤酒。

所述特殊规则匹配（rules matching）算法主要是通过大量经验的积累，总结出在出现某种规则的前提下，该文本一定属于某个类别的一种特殊的算法。特殊规则匹配算法可与上述三类算法相结合使用。

以上四类算法均有多种已存在的实现方式，在此不做赘述。

请参阅图2，下面就以一个具体实施例对本申请所述的互联网数据分析系统进行详细说明，该实施例是用来分析互联网网站的性质，至少区分为经营性网站和非经营性网站两大类，这两者的区别主要在于是否以营利为目的。