[发明专利]一种日志落地方法及装置

说明书

本发明提供了一种日志落地方法及装置，该方法包括：获取已知同步点日志的状态信息，其中，所述已知同步点为目标同步点之前已完成日志落地的相邻同步点；通过所述已知同步点日志的状态信息为所述目标同步点创建临时日志，并记录所述临时日志的状态信息；根据所述临时日志为所述目标同步点生成正式日志，并结合所述临时日志的状态信息更新存储所述正式日志的状态信息，以完成日志落地。可见，本发明通过同步点机制，将日志的落地过程分为不同的同步点来逐步完成。并且，在通过同步点机制完成日志落地的过程中，进一步提及日志在落地过程中的不同状态，通过获取并记录日志落地过程中的状态信息，为日志的完全一致落地做了必要的基础。

技术领域

本发明涉及计算机信息处理技术领域，特别是涉及一种日志落地方法及装置。

背景技术

随着计算机通信技术的不断发展，越来越多的数据需要通过网络传输，随之而来的是许多数据段要落地。现有的日志落地技术通常会用到HDFS(Hadoop Distributed FileSystem，分布式文件系统)，其被设计成适合运行在通用硬件上的分布式文件系统，非常适合大规模数据集上的应用。当前，日志落地即将一些流量的日志落地到HDFS系统。

现阶段，当网络中的数据段需要落地时，通常会通过flink(一种网页代码标记)提供的方案将所需落地的数据段保存到HDFS系统，以完成日志的落地，进而在整个HDFS系统逐渐会存储数百或数千个文件数据片段的服务器。但是，目前flink提供的日志落地方案只能在日志格式是纯文本形式时，才能保证日志落地后数据完全一致。而对于有结构的日志格式，在日志落地时会产生坏块文件的现象，所产生的这些坏块文件，顾名思义其已经是被损坏的，说明当前日志已经被损坏，相当于是丢失了部分数据，无法保证日志落地后数据的完全一致。然而，对于HDFS落地来说，为了节省空间，提高效率，带结构的日志格式是不可或缺的，比如当日志为lzo(lempel-ziv-oberhumer，数据压缩算法)或者gzip(文件压缩程序)等带压缩结构的日志时，在日志落地的过程中便容易出现错误。

因此，对于带结构的日志落地，目前还没有好的解决方案。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的日志落地方法和相应的装置。

依据本发明的一个方面，提供了一种日志落地方法，包括：

获取已知同步点日志的状态信息，其中，所述已知同步点为目标同步点之前已完成日志落地的相邻同步点；

通过所述已知同步点日志的状态信息为所述目标同步点创建临时日志，并记录所述临时日志的状态信息；

根据所述临时日志为所述目标同步点生成正式日志，并结合所述临时日志的状态信息更新存储所述正式日志的状态信息，以完成日志落地。

可选地，获取已知同步点日志的状态信息，包括：

获取已知同步点日志的位置信息及名称信息。

可选地，通过所述已知同步点日志的状态信息为所述目标同步点创建临时日志，并记录所述临时日志的状态信息，包括：

根据所述已知同步点日志的位置信息及名称信息为所述目标同步点重新创建临时日志；

由该重新创建的临时日志覆盖所述目标同步点的原始临时日志，并记录所述重新创建的临时日志的状态信息。

可选地，根据所述临时日志为所述目标同步点生成正式日志，并结合所述临时日志的状态信息更新存储所述正式日志的状态信息，以完成日志落地，包括：

利用同步点机制将所述临时日志关闭并生成所述目标同步点的正式日志，同时结合所述临时日志的状态信息更新存储所述正式日志的状态信息，以保证所述正式日志的生成及所述正式日志的状态信息存储同步，最终完成日志落地。