[发明专利]边缘节点服务器、日志文件处理方法及系统

说明书

技术领域

本发明涉及内容分发网络技术领域，特别是涉及一种边缘节点服务器、日志文件处理方法及系统。

背景技术

随着互联网技术的快速发展，手持设备、桌面终端等诸多互联网终端被大量使用，同时也产生了海量的信息。海量信息背后的“大数据”隐藏着人们自主行为意识，可以产生很多商业行为的潜在价值导向，因而这些海量数据的快速处理和分析技术的需求就日益紧迫。

现有技术中，内容分发网络(ContentDeliveryNetwork，CDN)服务提供商是通过大量的节点(边缘)服务器来为客户提供加速服务的。其中，CDN网络中各个节点服务器产生的日志文件数量是巨大的。面对海量的日志文件信息，如何合理高效地对对海量日志文件快速分析、筛选、提炼，已成为亟待解决的问题。

但是，现有技术中收集服务器在对边缘节点服务器产生的日志文件进行收集方法，无法确保所收集的日志文件的完整性。

发明内容

本发明实施例解决的问题是确保日志文件收集的完整性。

为解决上述问题，本发明实施例提供了一种日志文件处理方法，所述方法包括：

实时读取自身产生的日志文件；

将所读取的日志文件进行处理，生成具有预设格式的日志文件；

判断所读取的日志文件的大小是否小于预设的日志缓冲区的大小；

当确定所读取的日志文件的大小小于所述日志缓冲区的大小时，停止读取日志文件。

可选地，所述方法还包括：当满足预设的条件时，将所述预设格式的日志文件上传至上传日志目录，所述上传日志目录包括待上传至中央收集服务器的预设格式的日志文件的信息。

可选地，所述预设的条件包括：

读取日志文件的时间达到预设的第一时间阈值。

可选地，所述预设的条件包括：

读取的日志文件的大小达到预设的第二数量阈值。

可选地，所述方法还包括：通过所述获取的最佳日志上传路线，将所述预设格式的日志文件上传至对应的中央收集服务器，所述中央收集服务器为所述最佳日志上传路线的终点。

本发明实施例还提供了一种边缘节点服务器，所述边缘节点服务器包括：

读取单元，适于实时读取自身产生的日志文件；

处理单元，适于将所读取的日志文件进行处理，生成具有预设格式的日志文件；

判断单元，适于判断所读取的日志文件的大小是否小于预设的日志缓冲区的大小；

读取控制单元，适于当确定所读取的日志文件的大小小于所述日志缓冲区的大小时，停止读取日志文件。

可选地，所述边缘节点服务器还包括：上传单元，适于当满足预设的条件时，将所述预设格式的日志文件上传至上传日志目录，所述上传日志目录中包括待上传至中央收集服务器的预设格式的日志文件的信息。

可选地，所述预设的条件包括：

读取日志文件的时间达到预设的第一时间阈值。

可选地，所述预设的条件包括：

读取的日志文件的大小达到预设的第一数量阈值。

本发明实施例还提供了一种日志文件处理系统，包括上述的边缘节点服务器。

与现有技术相比，本发明的技术方案具有以下的优点：

上述的方案，通过实时读取边缘节点服务器的内存的日志缓冲区中的日志文件，并在本次读取的日志文件的大小小于所述日志缓冲区的大小时，确定所述边缘节点服务器所产生的日志文件已经完全读取，因此，可以确保所读取的日志文件的完整性。

附图说明

图1是本发明实施例中的一种日志文件处理方法的流程图；

图2是本发明实施例中的另一种日志文件处理方法的流程图；

图3是本发明实施例中的边缘节点服务器的结构示意图。

具体实施方式

为解决现有技术中存在的上述问题，本发明实施例采用的技术方案通过在实时读取边缘节点服务器的内存的日志缓冲区中的日志文件，并确定本次读取的日志文件的大小小于所述日志缓冲区的大小时，确定所述边缘节点服务器所产生的日志文件已经完全读取，可以确保所读取的日志文件的完整性。

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

图1本发明实施例提供了一种日志文件处理方法的流程图。如图1所示，所述日志文件处理方法可以包括：

步骤S101：实时读取自身产生的日志文件。

步骤S102：将所读取的日志文件进行处理，生成具有预设格式的日志文件。