[发明专利]一种基于日志的Hive用户操作行为还原方法

说明书

本发明的一种基于日志的Hive用户操作行为还原方法，包括如下步骤：步骤1：对用户层服务器进行信息提取，获取HDFS路径；步骤2：根据HDFS路径进行文件层信息提取，获取数据块的详细信息；步骤3：根据数据块的详细信息进行物理层数据块提取；步骤4：数据记录查看。本发明通过构建Hive各层之间的逻辑关系，实现依据具体线索信息缩小取证工作量，并通过多证据的相互印证提高证明效力。

技术领域

本发明属于数据恢复技术领域，涉及一种基于日志的Hive用户操作行为还原方法。

背景技术

随着移动设备的普及和互联网业务的创新发展，各行各业产生的数据日益增长并不断累积。这些海量数据的产生推动了高性能云平台的发展，而Hadoop是众多云框架中较成熟、使用较广的架构。Hadoop使用数据仓库Hive存储海量的、非结构化的数据。运营人员可以通过Hive存储的海量数据挖掘出大量含有巨大价值的信息。因此在取证方面，针对Hive的取证工作至关重要，对于Hive取证工作的研究不仅可以遏制犯罪行为的继续，还能及时帮助企业、部门挽回无法估量的损失。

Hive与传统数据库不论是在底层框架还是数据结构上都是大相径庭的，在取证方面唯一共通点就是都依赖系统日志及各种元数据。国内外在Hive取证工作尤其是用户操作行为还原方面的研究极为少见。Hadoop的文件系统是HDFS，是以linux文件系统为底层构架的逻辑上的文件系统，目前还没有恢复技术将HDFS与linux常用ext3、ext4等文件系统进行关联，因此国内在HDFS数据恢复技术方面一片空白。Hive数据仓库搭建于分布式文件系统HDFS上，以Hadoop框架为基础，因其物理位置跨度范围较大，且Hive的存储数据的格式多种多样且各不相同，但本身并不提供任何存储数据格式。整个Hive数据仓库的结构依赖于元数据库，对数据的操作也会被Hive日志记录，当数据仓库发生灾难时关键数据都存在于元数据库及Hive日志，但目前国内通过元数据库及Hive日志还原用户操作行为的研究仍一片空白。因为Hive使用的存储方式不同，导致恢复的部分HFile对应底层数据块在Hive文件层面并不能直接识别，甚至部分数据块有可能是残缺的，无法通过HBase系统本身的识别机制进行顺序提取。

发明内容

本发明的目的是提供一种基于日志的Hive用户操作行为还原方法，通过构建Hive各层之间的逻辑关系，实现依据具体线索信息缩小取证工作量，并通过多证据的相互印证提高证明效力。

本发明提供一种基于日志的Hive用户操作行为还原方法，包括如下步骤：

步骤1：对用户层服务器进行信息提取，获取HDFS路径；

步骤2：根据HDFS路径进行文件层信息提取，获取数据块的详细信息；

步骤3：根据数据块的详细信息进行物理层数据块提取；

步骤4：数据记录查看。

在本发明的基于日志的Hive用户操作行为还原方法中，步骤1包括：

步骤1.1：访问用户层服务器，并采取与国家授时中心等标准时间源的对时操作；

步骤1.2：依据用户层服务器中的Hive多个配置文件获取Hive日志存放路径、连接元数据库的用户名和密码、HDFS路径、驱动、Remote方式；

步骤1.3：访问获取的Hive日志存放路径，若事先掌握时间线索则对多个Hive日志文件进行筛选；若Hive日志文件的数据量较大则进行数据清洗，只保留用户操作的相关记录；若事先掌握时间线索可以对日志文件的内容进行筛选，若发现日志文件缺失或丢失，则立即进行HDFS数据恢复；

步骤1.4：针对步骤1.3筛选出的用户操作相关记录，设定关键字，检索包含HDFS路径的相关记录并整理；