[发明专利]用于大数据处理的数据挖掘方法

说明书

技术领域：

本发明涉及互联网技术领域，具体地说是一种挖掘结果全面、数据处理速度高的用于大数据处理的数据挖掘方法。

背景技术：

大数据技术或称巨量资料，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理的时间内达到汲取、管理、处理并整理成为帮助企业经营决策更积极目的资讯。大数据计数的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化的处理，换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键在于提高对数据的“加工能力”，通过加工数据实现增值。

如何从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、事先不知道的、但有时潜在有用的信息的过程被称为数据挖掘，显而易见，数据挖掘时大数据技术的关键。目前常见的数据挖掘方法大致分为以下几种：一种通过半自动化的方式建立网页分类体系，并引入数据分类、查询词分类或购买分类等属性，结合网页搜索结果进行相关性反馈，从而得到想要的信息；另一种是基于字面的文字匹配；还有一种是采用基于语义，分析潜在语义相关性模型从而获得检索数据，以上分析系统容易遗漏信息业务中的潜在特征，导致数据分析结果不全面。

发明内容：

本发明针对现有技术中存在的缺点和不足，提出了一种挖掘结果全面、数据处理速度高的用于大数据处理的数据挖掘方法。

本发明通过以下措施达到：

一种用于大数据处理的数据挖掘方法，其特征在于包括以下步骤：

步骤1：获取用户的检索需求，通过用户输入检索词或语音的方式，获知用户的需求；

步骤2：对步骤1中所获的数据进行初步处理，将其处理为一致性数据后存入存储器准备下一步处理；

步骤3：从存储器中提取经过预处理后的检索需求数据，将其与预先存储的购买词进行相关性匹配，获得预先存储的购买词与检索需求数据之间至少一个相关性数据源；

步骤4：对步骤3所获的相关性数据构建网络拓扑图，并在数据库中基于网络拓扑图进行挖掘；

步骤5：输出挖掘结果。

本发明所述步骤2中对所获数据进行初步处理，可以采用哈希函数模型将高维数据处理为二进制数据，从而便于存储和进一步的分析处理。

本发明所述步骤3中还包括对至少一个相关性数据源进行融合性处理，所述融合性处理采用加权平均法处理方法。

本发明所述步骤3中还包括对至少一个相关性数据源进行融合性处理，所述融合性处理采用卡尔曼滤波处理法。

本发明所述步骤3中还包括对至少一个相关性数据源进行融合性处理，所述融合性处理采用统计决策处理法。

本发明所述步骤3中还包括对至少一个相关性数据源进行融合性处理，所述融合性处理采用神经网络处理法。

本发明与现有技术相比，摒弃了简单文字匹配或语义挖掘的方式，从相关性拓普网络入手，对待分析数据进行潜在关键信息的挖掘，具有所获结果更全面、更准确等显著的优点。

附图说明：

附图是本发明的流程图。

具体实施方式：

下面结合附图对本发明作进一步的说明。

如附图所示，本发明提出一种用于大数据处理的数据挖掘方法，其特征在于包括以下步骤：

步骤1：获取用户的检索需求，通过用户输入检索词或语音的方式，获知用户的需求；

步骤2：对步骤1中所获的数据进行初步处理，将其处理为一致性数据后存入存储器准备下一步处理；

步骤3：从存储器中提取经过预处理后的检索需求数据，将其与预先存储的购买词进行相关性匹配，获得预先存储的购买词与检索需求数据之间至少一个相关性数据源；

步骤4：对步骤3所获的相关性数据构建网络拓扑图，并在数据库中基于网络拓扑图进行挖掘；

步骤5：输出挖掘结果。

本发明所述步骤2中对所获数据进行初步处理，可以采用哈希函数模型将高维数据处理为二进制数据，从而便于存储和进一步的分析处理。

本发明所述步骤3中还包括对至少一个相关性数据源进行融合性处理，所述融合性处理采用加权平均法处理方法。

本发明所述步骤3中还包括对至少一个相关性数据源进行融合性处理，所述融合性处理采用卡尔曼滤波处理法。

本发明所述步骤3中还包括对至少一个相关性数据源进行融合性处理，所述融合性处理采用统计决策处理法。

本发明所述步骤3中还包括对至少一个相关性数据源进行融合性处理，所述融合性处理采用神经网络处理法。

本发明与现有技术相比，摒弃了简单文字匹配或语义挖掘的方式，从相关性拓普网络入手，对待分析数据进行潜在关键信息的挖掘，具有所获结果更全面、更准确等显著的优点。