[发明专利]一种数据处理准确的内容搜集与数据挖掘平台及其实现方法

摘要

本发明公开了一种数据处理准确的内容搜集与数据挖掘平台及其实现方法，它包括云服务器和多个与云服务器连接的数据接收终端；所述的云服务器包括信息提取模块、信息过滤模块、信息分类模块和数据库模块，所述的数据库模块包括关键字数据库单元和基础数据库单元，所述的信息分类模块包括相似度计算单元和结果分类单元；所述的数据接收终端的输出端与信息提取模块连接，信息提取模块的输出端与信息过滤模块连接，信息过滤模块的输出端与相似度计算单元连接，相似度计算单元的输出端与结果分类单元连接；所述的基础数据库单元与相似度计算单元连接。本发明适用于新媒体发布平台，具有数据处理准确、高可靠性、处理速度快等优点。

主权项

1.一种数据处理准确的内容搜集与数据挖掘平台的实现方法，其特征在于：包括以下步骤：S1：数据接收终端接收发送过来的信息，包括通过无线终端发送过来的信息和有线终端发送过来的信息；S2：信息提取模块对数据接收终端的信息进行关键字提取，所述的关键字提取的数量根据预设的条件决定；S3：信息过滤模块对关键字进行过滤处理：通过与关键字数据库单元的数据作比较，将含有非法关键字的信息进行剔除；S4：将完成过滤处理的信息与基础数据库单元进行相似度比对，包括以下子步骤：S41：将提取出的关键字合并成一个集合，计算基础数据库单元中的数据对于所述的集合中的词语的词频；S42：生成所述信息以及基础数据库单元中的数据的词频向量；S43：计算所述信息的词频向量与基础数据库单元中的数据的词频向量的余弦相似度；S5：结果分类单元判断余弦相似度最大的一项是否大于阈值：（1）若大于阈值，则选择余弦相似度大于阈值的且最大的一项或者多项，作为结果分类的结果输出；（2）若小于阈值，则进行人工判断，是否作为结果分类的结果：如果判断为是，则将结果输出并且将该信息送入基础数据库单元进行存储；所述的步骤S2包括以下子步骤：S21：对信息进行分词处理，计算各个词语相对于所述信息的词频；S22：计算各个词语相对于基础数据库单元中的数据的逆向文件频率，log（A/B）；式中，A为基础数据库单元中数据的总数，B为各个词语在基础数据库单元中出现的次数；S23：将词频与逆向文件频率相乘，得到关键词频率；S24：根据预设的关键字提取的数量，选择多个关键词；所述的基础数据库单元包括新增子单元和通用子单元，所述的方法还包括一个数据库存储步骤S6：在完成过滤与分类之后，将收集到的信息存储至基础数据库单元的新增子单元中存储，根据需求选择之后信息的关键字提取与相似度比对是否包含新增子单元中的数据：若选择包含，则将新增子单元中的数据放入基础数据库单元的通用子单元中进行保存；否则选择删除或者保留。