[发明专利]大数据的处理方法和系统

说明书

技术领域

本发明涉及大数据领域，具体来说，涉及一种大数据的处理方法和系统。

背景技术

在大数据应用系统中，当前多个行业，尤其是情报分析领域，会从多个数 据源获取不同的数据，既有来自工商、民航、出入境、户籍等的各类信息，也 有来自各类门户网站(如团购网站、招聘网站、社交网站)的注册信息，以及 通过网络爬虫获取的各类数据；数据类型又有结构化数据、半结构化数据、非 结构化数据；数据内容格式杂乱无章，信息虚实结合。所以需要通过大数据分 析技术，从海量多源异构数据中挖掘中有用的价值信息，为各类分析应用提供 数据支撑。

现有技术基本局限在某一行业的数据，或者某一类型的数据，对数据的融 合处理尚较弱。由于行业应用的发展历程，许多技术局限于在某一领域的数据， 当多种数据汇集后，不同数据源之间数据的关联挖掘处理非常有限，从而造成 了数据之间难以融合，不能发挥大数据的信息价值。

针对相关技术中的上述问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中的上述问题，本发明提出一种大数据的处理方法和系统， 能够为各类数据分析、行为分析、用户画像分析、关系发现提供数据支撑。

本发明的技术方案是这样实现的：

根据本发明的一个方面，提供了一种大数据的处理方法。

该处理方法包括：

从多个数据源抽取大数据，并对大数据进行规则转换；

对进行规则转换后的大数据进行数据处理；

根据数据处理后的大数据建立数据库。

其中，从多个数据源抽取的大数据包括：结构化数据和非结构化数据。

此外，对大数据进行规则转换的方式包括数据清洗和数据预处理，数据清 洗和数据预处理包括以下至少之一：

格式标准化、异常数据清除、错误纠正、去重。

另外，在大数据为结构化数据的情况下，对进行规则转换后的大数据进行 数据处理的方式包括以下至少之一：

对象抽取、数据关联、置信度计算、标签计算、模型计算。

此外，在大数据为非结构化数据的情况下，对进行规则转换后的大数据进 行数据处理的方式包括以下至少之一：

分词处理、特征值提取。

另外，数据库包括以下至少之一：

基础数据库、对象库、全文库。

根据本发明的另一方面，提供了一种大数据的处理系统。

该处理系统包括：

抽取转换模块，用于从多个数据源抽取大数据，并对大数据进行规则转换；

处理模块，用于对进行规则转换后的大数据进行数据处理；

建库模块，用于根据数据处理后的大数据建立数据库。

其中，从多个数据源抽取的大数据包括：结构化数据和非结构化数据。

此外，对大数据进行规则转换的方式包括数据清洗和数据预处理，数据清 洗和数据预处理包括以下至少之一：

格式标准化、异常数据清除、错误纠正、去重。

另外，在大数据为结构化数据的情况下，对进行规则转换后的大数据进行 数据处理的方式包括以下至少之一：

对象抽取、数据关联、置信度计算、标签计算、模型计算。

本发明通过从多源异构数据中分析出各类信息并构建数据库，从而为各类 数据分析、行为分析、用户画像分析、关系发现提供数据支撑。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施 例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是 本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的 前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的大数据的处理方法的流程图；

图2是根据本发明实施例的大数据的处理方法的整体流程图；

图3是根据本发明实施例的大数据的处理方法的详细流程图；

图4是根据本发明实施例的大数据的处理系统的框图。

具体实施方式