[发明专利]一种hive仓库元数据实时同步方法

说明书

本发明公开的hive仓库元数据实时同步方法，涉及数据库技术领域，通过实时获取hive仓库元数据的二进制日志数据，根据二进制日志产生的先后顺序，依次逐行解析二进制日志数据，得到二进制日志数据的类型，根据二进制日志数据的类型，将相应的二进制日志数据写入hive仓库元数据管理系统，实现了实时同步hive仓库元数据到元数据管理系统的目的，提高了效率及准确性。

技术领域

本发明涉及数据库技术领域，具体涉及一种hive仓库元数据实时同步方法。

背景技术

在大数据平台中建设元数据管理系统是作为数据治理手段的一种有效管理，而hive作为大数据平台的主流数据仓库，其元数据是大数据平台元数据管理系统的核心资源。但hive仓库专注数据操作方面管理，其元数据对外服务只提供基本查询，并不提供与元数据管理系统的消息通讯对接，而导致元数据管理系统中的元数据信息滞后严重。目前的主流方案是通过定时全量抽取或定时扫描hive元数据的方案保持hive元数据与元数据管理系统的信息同步，这些方案存在的缺陷是不能将同步hive元数据变更情况实时动态到元数据管理系统且效率及准确性都较低。

发明内容

为解决现有技术的不足，本发明实施例提供了一种hive仓库元数据实时同步方法，该方法包括以下步骤：

实时获取hive仓库元数据的二进制日志数据；

根据所述二进制日志产生的先后顺序，依次逐行解析所述二进制日志数据，得到所述二进制日志数据的类型；

根据所述二进制日志数据的类型，将相应的二进制日志数据写入 hive仓库元数据管理系统。

优选地，根据所述二进制日志数据的类型，将相应的二进制日志数据写入hive仓库元数据管理系统包括：

若所述二进制日志数据的类型为新增，则判断所述二进制日志数据中的仓库标识及相应创建者标识是否均为真，若是，则确定二进制日志数据的二进制日志数据的类型为仓库新增操作并将所述仓库信息写入hive仓库元数据管理系统，其中，所述仓库信息包括至少一个表格信息。

优选地，根据所述二进制日志数据的类型，将相应的二进制日志数据写入hive仓库元数据管理系统还包括：

若所述二进制日志数据的类型不是仓库新增操作，则判断所述二进制日志数据的表格标识及相应的创建者标识是否均为真，若是，则确定所述二进制日志数据的类型为表格新增操作并将表格信息及相应的字段信息写入到hive仓库元数据管理系统，其中，所述表格信息包括：表名、数据存放路径、数据输入格式、数据输出格式、表类型及分区信息，其中，所述分区信息包括分区大小、分区名称、分区文件数。

优选地，根据所述二进制日志数据的类型，将相应的二进制日志数据写入hive仓库元数据管理系统还包括：

若所述二进制日志数据的类型不是表格新增操作，则判断所述二进制日志数据的分区标识是否为真，若是，则确定所述二进制日志数据的类型为分区新增操作并将分区数据写入hive仓库元数据管理系统。

优选地，根据所述二进制日志数据的类型，将相应的二进制日志数据写入hive仓库元数据管理系统还包括：

若所述二进制日志数据的类型为更新操作，则判断所述二进制日志数据的表格标识及存储标识是否均为真，若是，则确定所述二进制日志数据的类型为表格更新操作并将所述表格的表格信息写入hive 仓库元数据管理系统。

优选地，根据所述二进制日志数据的类型，将相应的二进制日志数据写入hive仓库元数据管理系统还包括：

若所述二进制日志数据的存储标识和字段标识均为真，则确定所述二进制日志数据的类型为字段更新操作；

根据所述字段标识，得到相应的仓库标识和表格标识；