[发明专利]一种业务数据采集方法及装置

说明书

本发明提供了一种业务数据采集方法及装置，通过实时采集主机系统中每个主机的变化日志，后续按序列号单调递增的顺序读取和存储每个主机的变化日志中的块数据，实现主机系统中所有主机更新数据的同步，解决了异步采集日志导致的漏采、错采问题，极大提高了数据采集的完备性和准确性。

技术领域

本发明涉及计算机技术领域，更具体的，涉及一种业务数据采集方法及装置。

背景技术

大数据技术已广泛应用于各个领域，但是，有很多机构的主要业务系统仍然部署在传统主机上，由于主机是个不开源且与现在开放平台技术不互通的技术体系，因此，主机系统的数据处理无法采用大数据技术。

为了便于对主机系统中的数据进行处理，目前通过实时采集主机cmtlog数据(主机系统日志的简化版，只包含数据库变化的位置，不包含变化内容)，可以得到主机数据实时变化的精简信息，如哪个数据文件的哪条记录发生了变化，然后再根据cmtlog读取主机磁盘数据，但是，这是一种异步的数据采集模式。

由于cmtlog的写操作与磁盘数据的写操作并没有严格的一致性，这种异步的数据采集模式无法实现数据读取的顺序性、及时性与完备性，必然存在数据漏采、错采的情况。

发明内容

有鉴于此，本发明提供了一种业务数据采集方法及装置，通过采集主机完整audit日志来获取主机完整数据更新快照，解决了异步采集的漏采、错采问题，数据采集的完备性与准确性都得到极大提高。

为了实现上述发明目的，本发明提供的具体技术方案如下：

一种业务数据采集方法，包括：

分别读取主机系统中每个主机的变化日志，变化日志中每个块数据分别对应一个全局唯一且全局递增的序列号；

分别对每个所述主机的变化日志进行预处理，并将预处理后的每个所述主机的变化日志分别发送到相应的消息队列中；

读取每个所述消息队列中的变化日志，按照序列号对块数据进行递增排序，并将递增排序后的块数据输出到kafka的预设主题中；

读取kafka中的序列号递增的块数据，并将其分别存储到每个主机文件对应的HBase表中。

一种业务数据采集装置，包括：

日志采集单元，用于分别读取主机系统中每个主机的变化日志，变化日志中每个块数据分别对应一个全局唯一且全局递增的序列号；

日志预处理单元，用于分别对每个所述主机的变化日志进行预处理，并将预处理后的每个所述主机的变化日志分别发送到相应的消息队列中；

归并排序单元，用于读取每个所述消息队列中的变化日志，按照序列号对块数据进行递增排序，并将递增排序后的块数据输出到kafka的预设主题中；

数据存储单元，用于读取kafka中的序列号递增的块数据，并将其分别存储到每个主机文件对应的HBase表中。

相对于现有技术，本发明的有益效果如下：

本发明公开的一种业务数据采集方法，通过实时采集主机系统中每个主机的变化日志，后续按序列号单调递增的顺序读取和存储每个主机的变化日志中的块数据，实现主机系统中所有主机更新数据的同步，解决了异步采集日志导致的漏采、错采问题，极大提高了数据采集的完备性和准确性。

附图说明

结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。

图1为本发明实施例公开的一种业务数据采集方法的流程示意图；