[发明专利]一种基于hive的数据汇聚方法

说明书

本发明公开了一种基于hive的数据汇聚方法，采集数据并将相同的数据统一以标签描述实体特征，将数据的标签按粒度划分为一级标签、二级标签，并根据实际需求细化为三级标签；根据标签指标体系的属性分别创建对应的原始数据表，用于存储根据不同属性分类的数据；对不同分区存储的原始数据表分别进行ETL处理，生成用于进行批查询和数据管理操作的全量标签汇聚表；对全量标签汇聚表作行列转换，将各一级标签所属的三级标签分组并压缩，生成全量标签结果表；去除全量标签结果表的日期项并将其导入ElasticSearch中提供给应用做交互式和批量搜索查询。能够实现各类标签之间的解耦和各类标签和标签结果表之间的解耦，同时提高标签结果表的刷新效率。

技术领域

本发明涉及一种基于hive的数据汇聚方法，属于数据处理领域。

背景技术

数据汇聚是对采集到的原始数据进行筛选、存储和开发的过程，通过数据汇聚能够形成统一的数据中心，为后续数据资产的价值挖掘提供原始材料；

数据在hive平台的计算和汇聚过程(ETL)中通常采用mapreduce算法进行多标签过程表的关联合并，但由于mapreduce算法实现复杂查询逻辑开发难度大，在处理多表关联时查询效率低，且在批计算的应用场景下不支持对数据的删除操作或删除数据执行效率低，会导致经过汇聚的标签结果表和标签过程表的耦合度高，不利于标签数据的迭代开发，标签管理过程难以解耦，会导致后台代码复杂，迭代开发周期长，不能满足业务侧的需求等问题。

发明内容

发明目的：针对上述现有技术的缺陷，本发明提供一种能够实现各类标签之间的解耦和标签和结果表之间的解耦的数据汇聚方法。

技术方案：本发明的基于hive的数据汇聚方法包括如下步骤：采集数据并将相同的数据统一以标签描述实体特征，将数据的标签按粒度划分为一级标签、二级标签，并根据实际需求细化为三级标签；根据标签指标体系的属性分别创建对应的原始数据表，用于存储根据不同属性分类的数据；对不同分区存储的原始数据表分别进行ETL处理，生成用于进行批查询和数据管理操作的全量标签汇聚表；对全量标签汇聚表作行列转换，将各一级标签所属的三级标签分组并压缩，生成全量标签结果表；去除全量标签结果表的日期项并将其导入ElasticSearch中提供给应用做交互式和批量搜索查询。

其中，全量汇聚操作之前对二级标签的分区进行清空操作，采用hive的udf函数对全量标签汇聚表作行列转换，ETL处理过程是将以一级标签分类表的分区字段查询各一级标签分类表的二级标签内容写入到全量标签汇聚表相应的日期和二级标签ID作为分区字段的分区下。

数据标签的字段包括数值类、日期类、枚举类和文本类，全量标签汇聚表以数据日期作为主分区字段，以二级标签ID作为子分区字段。

有益效果：与现有技术相比，本发明具有如下显著优点：优化了标签数据模型，能够实现各类标签之间的解耦和各类标签和标签结果表之间的解耦，同时提高标签结果表的刷新效率。

具体实施方式

下面结合实施例对本发明的技术方案作进一步说明。

本实施例利用本发明的数据汇聚方法对用户数据进行汇聚，步骤如下：