[发明专利]一种同步Hive数据的方法、系统、电子设备及存储介质

权利要求书

1.一种同步Hive数据的方法，其特征在于，基于hive hooks，所述同步Hive数据的方法包括：

监控步骤：hive hooks监控hive的运行日志；

中间表创建步骤：读取所述日志中hive的元数据，形成一张中间表；

轮询步骤：Impala轮询所述中间表，刷新所述元数据。

2.根据权利要求1所述的同步Hive数据的方法，其特征在于，所述监控步骤包括：

存储步骤：存储需要监控的hive sql操作类型；

数据获取步骤：当hive执行操作时，输出日志数据，所述数据包括数据库的元数据，表的元数据。

3.根据权利要求1所述的同步Hive数据的方法，其特征在于，所述中间表创建步骤包括，读取所述日志中hive的操作、所述元数据、所述表的元数据，形成一张中间表。

4.根据权利要求1所述的同步Hive数据的方法，其特征在于，所述轮询步骤包括，Impala轮询所述中间表，根据hive的操作刷新所述元数据。

5.一种同步Hive数据的系统，其特征在于，基于hive hooks，适用于上述权利要求1-4所述的同步Hive数据的方法，包括：

监控单元：hive hooks监控hive的运行日志；

中间表创建单元：读取所述日志中hive的元数据，形成一张中间表；

轮询单元：Impala轮询所述中间表，刷新所述元数据。

6.根据权利要求5所述的同步Hive数据的系统，其特征在于，所述监控单元包括：

存储模块：存储需要监控的hive sql操作类型；

数据获取模块：当hive执行操作时，输出日志数据，所述数据包括数据库的元数据，表的元数据。

7.根据权利要求6所述的同步Hive数据的系统，其特征在于，所述中间表创建单元包括，读取所述日志中hive的操作、所述元数据、所述表的元数据，形成一张中间表。

8.根据权利要求7所述的同步Hive数据的系统，其特征在于，所述轮询单元包括，Impala轮询所述中间表，轮询单元根据hive的操作刷新所述元数据。

9.一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如权利要求1至4中任一项所述的同步Hive数据的方法。

10.一种存储介质，所述存储介质上存储有计算机程序指令，所述计算机程序指令被所述处理器执行时实现如权利要求1至4中任一项所述的同步Hive数据的方法。