[发明专利]一种数据处理准确的内容搜集与数据挖掘平台及其实现方法

说明书

本发明公开了一种数据处理准确的内容搜集与数据挖掘平台及其实现方法，它包括云服务器和多个与云服务器连接的数据接收终端；所述的云服务器包括信息提取模块、信息过滤模块、信息分类模块和数据库模块，所述的数据库模块包括关键字数据库单元和基础数据库单元，所述的信息分类模块包括相似度计算单元和结果分类单元；所述的数据接收终端的输出端与信息提取模块连接，信息提取模块的输出端与信息过滤模块连接，信息过滤模块的输出端与相似度计算单元连接，相似度计算单元的输出端与结果分类单元连接；所述的基础数据库单元与相似度计算单元连接。本发明适用于新媒体发布平台，具有数据处理准确、高可靠性、处理速度快等优点。

技术领域

本发明涉及一种数据处理准确的内容搜集与数据挖掘平台及其实现方法。

背景技术

数据挖掘（英语：Data mining），又译为资料探勘、数据采矿。它是数据库知识发现（英语：Knowledge-Discovery in Databases，简称：KDD)中的一个步骤。数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统（依靠过去的经验法则）和模式识别等诸多方法来实现上述目标。

然而现有的数据挖掘平台的数据库安全性得不到保障，很容易遭受攻击和篡改，一旦破坏会引起数据挖掘的不可靠性。并且，在出现新兴词汇的时候，数据挖掘平台往往会误认为非重要的字，即非关键字，这会使得出现错误的数据的分析与判断的情况。

发明内容

本发明的目的在于克服现有技术的不足，提供一种数据处理准确的内容搜集与数据挖掘平台及其实现方法。

本发明的目的是通过以下技术方案来实现的：一种数据处理准确的内容搜集与数据挖掘平台，它包括云服务器和多个与云服务器连接的数据接收终端；所述的云服务器包括信息提取模块、信息过滤模块、信息分类模块和数据库模块，所述的数据库模块包括关键字数据库单元和基础数据库单元，所述的信息分类模块包括相似度计算单元和结果分类单元；所述的数据接收终端的输出端与信息提取模块连接，信息提取模块的输出端与信息过滤模块连接，信息过滤模块的输出端与相似度计算单元连接，相似度计算单元的输出端与结果分类单元连接；所述的关键字数据库单元与信息过滤模块连接，所述的基础数据库单元与相似度计算单元连接。

所述的信息提取模块、信息过滤模块和信息分类模块采用流水线的方式进行数据处理。

一种数据处理准确的内容搜集与数据挖掘平台还包括一个数据发送终端，所述的数据发送终端将信息分类模块输出的数据发送至外部。

所述的数据接收终端包括多个用于接收来自无线终端发送数据的第一类数据接收终端和多个用于来自有线终端发送数据的第二类数据接收终端。

所述的无线终端包括手机、平板电脑；所述的有线终端包括PC机。

一种数据处理准确的内容搜集与数据挖掘平台的实现方法包括以下步骤：

S1：数据接收终端接收发送过来的信息，包括通过无线终端发送过来的信息和有线终端发送过来的信息；

S2：信息提取模块对数据接收终端的信息进行关键字提取，所述的关键字提取的数量根据预设的条件决定；

S3：信息过滤模块对关键字进行过滤处理：通过与关键字数据库单元的数据作比较，将含有非法关键字的信息进行剔除；

S4：将完成过滤处理的信息与基础数据库单元进行相似度比对，包括以下子步骤：

S41：将提取出的关键字合并成一个集合，计算基础数据库单元中的数据对于所述的集合中的词语的词频；

S42：生成所述信息以及基础数据库单元中的数据的词频向量；