[发明专利]基于HBase的海量日志存储和查询方法

说明书

技术领域

本发明涉及计算机数据存取技术领域，具体涉及一种基于HBase的海量日志存储和查询方法。

背景技术

具有安全防护功能的办公管理系统(例如审计系统)，需要详细的记录海量日志信息(例如审计信息)，用于出现安全问题后，能够迅速、准确地进行问题追溯，查询相关信息和责任人。为此，需要提供一种能够存储海量日志存储系统和支持快速、多条件查询的日志存取方法(例如审计日志存储与查询方法)。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是：如何设计一种可进行动态、高速的数据条件查询，并能够自动过滤掉冗余数据，减少数据量存储的海量日志存储和查询方法。

(二)技术方案

为了解决上述技术问题，本发明提供了一种基于HBase的海量日志存储和查询方法，包括：

日志接收解析步骤：在接收到日志信息后，解析出用户信息、用户事件信息，以及用户事件发生的时间信息；所述用户信息为用户组织结构、用户姓名、用户账号中的一种，所述用户事件信息是对日志事件的说明；

日志存储步骤：按照用户信息MD5值+用户事件信息MD5值+时间戳的格式设计RowKey；根据日志接收解析步骤解析出的信息，将用户信息转换为MD5值，将用户事件信息转换成MD5值，并将用户事件发生的时间信息作为时间戳，从而计算出RowKey，并存储在HBase系统中；

日志查询步骤：根据查询条件设置startRow和endRow进行日志查询，查询出RowKey字典序在startRow和endRow之间的全部RowKey，进而查出RowKey对应的日志信息，所述查询条件包括用户信息、用户事件、起始时间、终止时间。

优选地，所述日志存储步骤中，计算RowKey时，截取用户信息MD5值的后N位，并存储在HBase表中。

优选地，所述日志存储步骤中，计算RowKey时，截取用户事件信息MD5值的后N位，并存储在HBase表中。

优选地，所述日志信息为审计日志信息。

(三)有益效果

本发明中利用了数据库HBase的特性，并设计一种用户信息MD5值+用户事件信息MD5值+时间戳的RowKey格式实现海量日志数据存取，可进行动态、高速的数据条件查询，并能够自动过滤掉冗余数据，减少数据量的存储。

具体实施方式

为使本发明的目的、内容、和优点更加清楚，下面结合实施例，对本发明的具体实施方式作进一步详细描述。

HBase是一种分布式、面向列的开源数据库，构建于HDFS上，是一种典型的Key/Value格式的存储系统，利用其缓存、分布式的特性，可高并发地存储数十亿行、上百万列的数据。

本发明实施例利用HBase的上述特性，提供一种RowKey设计方法，进而实现了一种基于HBase的海量日志存储和查询方法，能够进行动态、高速的数据条件查询，并能够自动过滤掉冗余数据，减少数据量的存储。

本发明实施例提供了一种基于HBase的海量日志存储和查询方法，包括：

日志接收解析步骤：在接收到日志信息后，解析出用户信息、用户事件信息，以及用户事件发生的时间信息，供后续使用；

本发明提出的日志存取方法针对日志格式至少包含以下字段：用户信息、用户事件、事件发生时间。即该审计日志需要能够详细说明何人何时做了哪些事情，其中用户信息可以只是用户姓名或账号信息，也可包括用户的组织机构等其他信息，所述用户事件信息是对日志事件的说明。

日志存储步骤：按照用户信息MD5值+用户事件信息MD5值+时间戳的格式设计RowKey；根据日志接收解析步骤解析出的信息，将用户信息转换为MD5值，将用户事件信息转换成MD5值，并将用户事件发生的时间信息作为时间戳，从而计算出RowKey，并存储在HBase系统中；

使用HBase存储信息时，首先需要完成RowKey的设计。

RowKey是HBase表中每条记录的主键，方便快速查找，RowKey的设计非常重要。

本发明使用用户信息MD5值、用户事件信息MD5值和时间戳作为RowKey，标识一条审计日志信息，用于条件查询审计日志。