[发明专利]一种基于hive的数据汇聚方法

权利要求书

1.一种基于hive的数据汇聚方法，其特征在于，所述标签数据汇聚方法包括如下步骤：采集数据并将相同的数据统一以标签描述实体特征，将数据的标签按粒度划分为一级标签、二级标签，并根据实际需求细化为三级标签；根据标签指标体系的属性分别创建对应的原始数据表，用于存储根据不同属性分类的数据；对不同分区存储的原始数据表分别进行ETL处理，生成用于进行批查询和数据管理操作的全量标签汇聚表；对全量标签汇聚表作行列转换，将各一级标签所属的三级标签分组并压缩，生成全量标签结果表；去除全量标签结果表的日期项并将其导入ElasticSearch中提供给应用做交互式和批量搜索查询。

2.根据权利要求1所述的基于hive的数据汇聚方法，其特征在于，所述全量汇聚操作之前对二级标签的分区进行清空操作。

3.根据权利要求1所述的基于hive的数据汇聚方法，其特征在于，所述数据汇聚方法采用hive的udf函数对全量标签汇聚表作行列转换。

4.根据权利要求1所述的基于hive的数据汇聚方法，其特征在于，所述ETL处理过程是将以一级标签分类表的分区字段查询各一级标签分类表的二级标签内容写入到全量标签汇聚表相应的日期和二级标签ID作为分区字段的分区下。

5.根据权利要求1所述的基于hive的数据汇聚方法，其特征在于，所述数据标签的字段包括数值类、日期类、枚举类和文本类。

6.根据权利要求4所述的基于hive的数据汇聚方法，其特征在于，所述全量标签汇聚表以数据日期作为主分区字段，以二级标签ID作为子分区字段。