[发明专利]一种数据处理方法及装置

说明书

在本申请实施例提供的数据处理方法及装置中，包括：根据预先设置的自定义语句，建立Spark与HBase表之间的通路；通过Spark获取HBase表的第一表项信息，根据预先存储的类型替换关系，将所述第一表项信息转换为第二表项信息；根据所述第二表项信息，通过Spark在Hive创建所述HBase表的映射表，记为Hive表。本申请实施例提供的数据处理方法可以根据预先设置的自定义语句建立Spark与HBase表的通路，然后通过Spark从HBase表获取表项信息，并对表项信息进行符合Spark格式需求的转换，从而通过Spark在Hive创建所述HBase表的映射表，该映射表既能从HBase表获取信息，又具有Spark系统数据分析速度快的优点。

技术领域

本申请涉及互联网领域，具体而言，涉及一种数据处理方法及装置。

背景技术

HBase是一种Key/Value系统，它运行在HDFS之上，由于Hbase设计上的限制，使得其不能直接使用原生的API执行在关系数据库中普遍使用的条件判断和聚合等操作。

Spark是一个基于内存计算的开源的集群计算系统，数据分析更加快速；为了支持Spark对HBase表中的数据进行分析，所以需要支持Spark能够访问HBase的数据。

然而现有技术中，Spark不支持使用sql的方式在Hive上创建表并关联到已存在的HBase表，而现在在大数据应用开发过程中，Spark查询、分析的使用场景十分普遍，对这一能力的需求十分迫切。

申请内容

有鉴于此，本申请实施例提供了一种数据处理方法及装置。

第一方面，本申请实施例提供了一种数据处理方法，所述方法包括：根据预先设置的自定义语句，建立Spark与HBase表之间的通路；通过Spark获取HBase表的第一表项信息，根据预先存储的类型替换关系，将所述第一表项信息转换为第二表项信息；根据所述第二表项信息，通过Spark在Hive创建所述HBase表的映射表，记为Hive表。

在一个可能的设计中，所述第一表项信息包括列类型，所述通过Spark获取HBase表的第一表项信息，根据预先存储的类型替换关系，将所述第一表项信息转换为第二表项信息，包括：通过Spark获取HBase表的第一列类型，根据预先存储的列类型替换关系，将所述第一列类型转换为第二列类型。

在一个可能的设计中，所述第一表项信息还包括表名、列名以及列长度，所述根据所述第二表项信息，通过Spark在Hive创建所述HBase表的映射表，记为Hive表，包括：

通过Spark在Hive建立表名与所述第一表项信息的表名相同、列名与所述第一表项信息的列名相同、列长度与所述第一表项信息的列长度相同，列类型为第二列类型的映射表，记为Hive表。

在一个可能的设计中，所述根据所述第二表项信息，通过Spark在Hive创建所述HBase表的映射表，记为Hive表之后，所述方法还包括：通过Spark获取HBase表的第一数据信息；根据所述类型替换关系，转换所述第一数据信息的数据类型，获得第二数据信息；将所述第二数据信息呈现于所述Hive表。

在一个可能的设计中，所述通过Spark获取HBase表的第一数据信息，包括：根据所述Hive表的表名，从所述HBase表的多个子表的表名中选出相同的表名，将该表名对应的子表计做第一子表；根据所述Hive表的列名，从所述第一子表的多个列名中选出相同的列名，获取该列名对应的列的数据信息，计做第一数据信息。