[发明专利]一种业务数据采集方法及装置

权利要求书

1.一种业务数据采集方法，其特征在于，包括：

分别读取主机系统中每个主机的变化日志，变化日志中每个块数据分别对应一个全局唯一且全局递增的序列号；

分别对每个所述主机的变化日志进行预处理，并将预处理后的每个所述主机的变化日志分别发送到相应的消息队列中；

读取每个所述消息队列中的变化日志，按照序列号对块数据进行递增排序，并将递增排序后的块数据输出到kafka的预设主题中；

读取kafka中的序列号递增的块数据，并将其分别存储到每个主机文件对应的HBase表中。

2.根据权利要求1所述的方法，其特征在于，所述分别读取主机系统中每个主机的变化日志，包括：

分别获取主机系统中每个所述主机的日志文件的cycle数；

在日志文件的cycle数为最新cycle数的情况下，读取最新cycle中日志文件每个块数据。

3.根据权利要求1所述的方法，其特征在于，所述分别对每个所述主机的变化日志进行预处理，包括：

分别过滤掉每个所述主机的变化日志中的控制块数据；

提取每个主机的变化日志中数据块数据中的序列号和更新记录。

4.根据权利要求3所述的方法，其特征在于，所述读取kafka中的序列号递增的块数据，并将其分别存储到每个主机文件对应的HBase表中，包括：

读取kafka中的序列号递增的块数据；

根据块数据的数据内容构造key-value形式的数据结构，其中，key为主机文件名和更新记录的组合，value为块数据内容；

分别将key-value形式的数据结构的块数据存储到每个主机文件对应的HBase表中。

5.根据权利要求1所述的方法，其特征在于，在所述读取kafka中的序列号递增的块数据，并将其分别存储到每个主机文件对应的HBase表中之后，所述方法还包括：

读取kafka中的序列号递增的块数据；

根据业务规则对读取的序列号递增的块数据进行整合；

在整合过程中判断是否存在数据缺失；

若不存在数据缺失，对整合好的数据进行预设编码，并按数据类型的不同写入预先创建的不同kafka主题中；

若存在数据缺失，通过读取HBase表获取缺失的数据，以进行整合，并对整合好的数据进行预设编码，并按数据类型的不同写入预先创建的不同kafka主题中。

6.一种业务数据采集装置，其特征在于，包括：

日志采集单元，用于分别读取主机系统中每个主机的变化日志，变化日志中每个块数据分别对应一个全局唯一且全局递增的序列号；

日志预处理单元，用于分别对每个所述主机的变化日志进行预处理，并将预处理后的每个所述主机的变化日志分别发送到相应的消息队列中；

归并排序单元，用于读取每个所述消息队列中的变化日志，按照序列号对块数据进行递增排序，并将递增排序后的块数据输出到kafka的预设主题中；

数据存储单元，用于读取kafka中的序列号递增的块数据，并将其分别存储到每个主机文件对应的HBase表中。

7.根据权利要求6所述的装置，其特征在于，所述日志采集单元，具体用于：

分别获取主机系统中每个所述主机的日志文件的cycle数；

在日志文件的cycle数为最新cycle数的情况下，读取最新cycle中日志文件每个块数据。

8.根据权利要求6所述的装置，其特征在于，所述日志预处理单元，具体用于：

分别过滤掉每个所述主机的变化日志中的控制块数据；

提取每个主机的变化日志中数据块数据中的序列号和更新记录。