[发明专利]基于HIVE的拉链式模型数据汇聚方法及系统

说明书

本发明公开了一种基于HIVE的拉链式模型数据汇聚方法及系统，应用于数据汇聚技术领域，方法包括：对接业务系统，并抽取原始数据；对原始数据进行清洗和标准化，以确定标准接口模型；由目标结果模型中获取当前有效数据，与标准接口模型内关联，确定待更新数据模型；将标准接口模型左外关联待更新数据模型，剔除主键重复的数据以生成增量数据，并插入至目标结果模型中；将标准接口模型内关联待更新数据模型，将全字段匹配的数据删除，并对待更新数据模型进行更新。通过本发明的技术方案，避免了文件级操作，实现了数据拉链式存储，能够保留所有数据变化轨迹，同时能够降低数据冗余度，模板化的开发方式降低了开发工作量和运维难度。

技术领域

本发明涉及数据汇聚技术领域，尤其涉及一种基于HIVE的拉链式模型数据汇聚方法以及一种基于HIVE的拉链式模型数据汇聚系统。

背景技术

在运营商行业，现已全面推动去O、去MPP等技术场景，引入大数据技术做数据存储、计算和应用。根据数据时效性，按照业务场景划分，主要分实时业务、准实时业务以及离线业务三个场景。不管是哪种业务场景，都要按照一定的频率周期对数据进行操作，其中离线业务场景在大数据技术背景下，普遍采用Hive来替代Oracle，作为数据主要存储计算的技术方案。但Hive是基于HDFS(Hadoop Distributed File System，分布式文件系统)文件存储方式，对update、delete支持不太友好，同时也不建议在hive中进行更新、删除操作。

发明内容

针对上述问题，本发明提供了一种基于HIVE的拉链式模型数据汇聚方法及系统，通过数据的标准化，根据标准接口模型与目标结果模型之间的关联，以主键为依据对数据进行插入、删除和更新操作，只需要根据模型字段和属性进行无逻辑开发，从而避免文件级的更新和删除操作，实现历史数据拉链式存储，能够保留所有数据变化轨迹，同时能够降低数据冗余度，模板化的开发方式降低了开发工作量和运维难度，解决了在HIVE环境中的数据操作问题。

为实现上述目的，本发明提供了一种基于HIVE的拉链式模型数据汇聚方法，包括：

对接业务系统，并由所述业务系统中抽取原始数据；

对所述原始数据进行清洗和标准化，以确定标准接口模型；

由目标结果模型中获取当前有效数据，通过所述有效数据的主键与所述标准接口模型内关联，确定所述目标结果模型中的待更新数据模型；

将所述标准接口模型左外关联所述待更新数据模型，剔除主键重复的数据以生成增量数据，并将所述增量数据直接插入至所述目标结果模型中；

将所述标准接口模型内关联所述待更新数据模型，将原始数据中全字段匹配的数据删除；

将所述待更新数据模型内关联所述标准接口模型，并采用所述标准接口模型的数据对所述待更新数据模型进行更新，实现所述目标结果模型的数据汇聚。

在上述技术方案中，优选地，基于HIVE的拉链式模型数据汇聚方法还包括：在对所述待更新数据模型的数据更新完成后，针对相同主键更新前的数据的数据状态日期进行更新。

在上述技术方案中，优选地，所述标准接口模型与所述业务系统中的数据模型一致，所述标准接口模型用于将所述业务系统中抽取的原始数据复制至所述目标结果模型中。

在上述技术方案中，优选地，采用ETL(Extract-Transform-Load，抽取-转换-加载)工具实现所述业务系统中原始数据的抽取。

在上述技术方案中，优选地，所述对所述原始数据进行清洗和标准化具体包括：

将所述原始数据中的无关字符删除，实现对所述原始数据的清洗；

将所述原始数据中相应的字段名称和字段属性与所述目标结果模型保持一致，实现对所述原始数据的标准化。