[发明专利]一种基于日志的Hive用户操作行为还原方法

权利要求书

1.一种基于日志的Hive用户操作行为还原方法，其特征在于，包括如下步骤：

步骤1：对用户层服务器进行信息提取，获取HDFS路径；

步骤2：根据HDFS路径进行文件层信息提取，获取数据块的详细信息；

步骤3：根据数据块的详细信息进行物理层数据块提取；

步骤4：数据记录查看；

步骤1包括：

步骤1.1：访问用户层服务器，并采取与标准时间源的对时操作；

步骤1.2：依据用户层服务器中的Hive多个配置文件获取Hive日志存放路径、连接元数据库的用户名和密码、HDFS路径、驱动、Remote方式；

步骤1.3：访问获取的Hive日志存放路径，若事先掌握时间线索则对多个Hive日志文件进行筛选；若Hive日志文件的数据量较大则进行数据清洗，只保留用户操作的相关记录；若事先掌握时间线索对日志文件的内容进行筛选，若发现日志文件缺失或丢失，则立即进行HDFS数据恢复；

步骤1.4：针对步骤1.3筛选出的用户操作相关记录，设定关键字，检索包含HDFS路径的相关记录并整理；

步骤1.5：连接元数据库，基于元数据表DBS、TBLS、SDS中的字段DB_ID、SD_ID进行合并，构建完整的数据表与HDFS的关系，将结果与步骤1.4得到的结果进行比对和验证；

步骤2包括：

步骤2.1：访问文件层，并采取与标准时间源的对时操作；

步骤2.2：依据文件层的文件系统的配置文件内容构建平台环境拓扑结构，确定各节点IP地址，并且获取HDFS元数据在文件层中的实际存储路径；

步骤2.3：将HDFS元数据导出为xml格式，并将整个用户层信息获取过程中获取到的需要检索的时间线索、HDFS路径线索及HDFS文件名线索分别设为关键字在xml中检索，获取数据库详细信息，包括数据块id、修改时间和数据表文件名；若不存在，立即进行物理层上的HDFS数据恢复；

步骤2.4：将步骤2.3中获取到的数据块id与修改时间分别设为关键字，在Hadoop系统服务输出日志中进行检索，获取指定数据库自存在以后的被操作过的所有记录，并比对结果检查是否有重合；若有重合则验证Hadoop系统服务输出日志中的内容，若检索无果，说明Hadoop系统服务输出日志缺失、丢失或被清理，立即进行HDFS数据恢复；

步骤3包括：

步骤3.1：依据从文件层信息获取中构建的拓扑结构图和HDFS路径信息找到目标物理层的IP地址，访问物理层，并采取与标准时间源的对时操作；

步骤3.2：将物理层中对应数据块id的数据块以只读方式导入至取证环境中，若无此数据块，则应进行HDFS数据恢复，并使用二进制编辑器查看数据块的头部，确定数据块使用的数据存储格式以及压缩方式。

2.如权利要求1所述的基于日志的Hive用户操作行为还原方法，其特征在于，所述步骤1.2中若取证环境使用Remote，还应提取Mysql服务器地址及端口信息。

3.如权利要求1所述的基于日志的Hive用户操作行为还原方法，其特征在于，步骤4具体为：

步骤4.1：在线索信息较为精准，数据量较少的情况下，TextFile、SequenceFile可直接通过Hadoop系统命令进行明文输出，RCFile、ORCFile、Parquet 存储格式则使用元数据重构数据结构后进行查看，若存在压缩则应针对相应的数据格式压缩方式进行对应的解压；

步骤4.2：在线索信息较模糊，数据量较多的情况下，可通过将数据重新导入至集群实验环境中，通过集群的高运算能力进行对应数据记录查看操作。