[发明专利]基于HBase的海量日志存储和查询方法

摘要

本发明涉及一种基于HBase的海量日志存储和查询方法，属于计算机数据存取技术领域。本发明中利用了数据库HBase的特性，并设计一种用户信息MD5值+用户事件信息MD5值+时间戳的RowKey格式实现海量日志数据存取，可进行动态、高速的数据条件查询，并能够自动过滤掉冗余数据，减少数据量的存储。

主权项

一种基于HBase的海量日志存储和查询方法，其特征在于，包括：日志接收解析步骤：在接收到日志信息后，解析出用户信息、用户事件信息，以及用户事件发生的时间信息；所述用户信息为用户组织结构、用户姓名、用户账号中的一种，所述用户事件信息是对日志事件的说明；日志存储步骤：按照用户信息MD5值+用户事件信息MD5值+时间戳的格式设计RowKey；根据日志接收解析步骤解析出的信息，将用户信息转换为MD5值，将用户事件信息转换成MD5值，并将用户事件发生的时间信息作为时间戳，从而计算出RowKey，并存储在HBase系统中；日志查询步骤：根据查询条件设置startRow和endRow进行日志查询，查询出RowKey字典序在startRow和endRow之间的全部RowKey，进而查出RowKey对应的日志信息，所述查询条件包括用户信息、用户事件、起始时间、终止时间。