[发明专利]一种存储日志数据的方法及日志数据存储系统

说明书

技术领域

本发明涉及计算机信息处理技术，特别涉及一种存储日志数据的方法及日志数据存储系统。

背景技术

随着计算机互联网技术的快速发展，互联网上的业务以及业务中的应用数量也迎来了爆发性的增长，用户每天在使用运营商提供的这些业务及应用产品时，会产生大量的业务使用记录数据，而如何可靠地存储并收集用户使用这些应用产生的业务使用记录数据，以利于后续能够对存储的业务使用记录数据进行提取，进而运用数据分析、数据挖掘等技术，统计并分析业务使用记录数据中包含的用户习惯以及用户特征行为，从中找出对运营商有价值的信息，从而指导应用产品改进、拓展以及推出新的应用产品，帮助应用产品推广，显得极为重要。

现有技术中，业务及应用产品运营过程中产生的各种用户业务使用记录数据，通常以日志数据的形式进行存储，存储方法大概分为两种，下面进行简要说明。

其一，各客户端通过内嵌在业务程序内部的日志模块进行日志输出，并在本地存储各业务产生的日志数据，然后通过预先编制的调用程序，将存储在本地的各业务日志数据集中起来以备后续分析。

由于运营商在进行日志数据分析时，需要提取多个客户端、多个用户使用业务程序产生的日志数据，因而，该方案中，需要日志数据分析人员分别从不同客户端采集日志数据，使得人力成本较高、操作不方便，基于此，提出了下面第二种日志数据存储方法。

其二，采用客户端/服务器(C/S，Client/Server)架构的日志数据存储系统存储方式，日志数据存储系统包括客户端以及日志服务器，客户端通过自定义协议与日志服务器进行通信，并协同工作，即各客户端将用户在应用产品运营过程中产生的日志数据，根据与日志服务器协商确定的自定义协议进行封装后，通过网络传输到日志服务器，日志服务器将接收的日志数据保存下来以备后续分析、统计。其中，客户端可以为一个或多个，日志服务器也可以为一个或多个。这样，各客户端通过网络传输与日志服务器相连，无需日志数据分析人员进行人工采集，操作较为方便，降低了人力成本。但是，由于各客户端根据与日志服务器协商的自定义协议来封装、保存日志数据，没有规范、统一的日志数据结构，导致不同业务上报到服务器的日志，其日志数据结构不一致，使得日志服务器需要对不同业务产生的日志数据进行日志数据结构的统一再进行存储，以利后续分析，需要耗费一定的计算资源，使得日志数据存储系统资源利用效率较低。进一步地，如果日志服务端出错，或者由于日志服务器升级维护等原因暂时不能提供服务，则会导致传输的日志数据的丢失，降低了日志数据存储的可靠性。

发明内容

有鉴于此，本发明的主要目的在于提出一种存储日志数据的方法，提高资源利用效率、提升日志数据存储的可靠性。

本发明的另一目的在于提出一种日志数据存储系统，提高资源利用效率、提升日志数据存储的可靠性。

为达到上述目的，本发明提供了一种存储日志数据的方法，该方法包括：

当需要接入新的业务到日志服务器时，在日志服务器的web管理页面上为待接入的业务申请日志ID，并定义日志ID对应的日志数据结构；

在客户端中设置并启动日志上报代理；

获取API库模块中存储的API，业务程序将通过调用API库模块中的API来上报业务程序产生的日志数据；

根据申请的业务日志ID对应的日志数据结构，封装业务程序产生的日志数据，调用已获取的API，API将日志数据组织后输出至共享内存进行存储；

共享内存中维护了一个循环队列，队列中存储的是业务日志数据；

日志上报代理读取共享内存中的日志数据，根据日志数据包含的日志ID，将读取的日志数据写入缓存文件夹中相应的缓存文件中，日志上报代理再通过与日志服务器之间的网络连接，将缓存文件中的日志数据上报至日志服务器存储。

所述在日志服务器的web管理页面上为待接入的业务日志申请日志ID，并定义日志ID对应的日志数据结构包括：

当有新的业务需要接入该日志服务器，业务开发人员到该日志服务器的web管理页面上为该业务申请日志ID，申请时定义该日志ID对应的日志数据结构，日志数据结构是字段式的，在定义的时候指定每个字段的名称，数据类型，代表的含义。

在为待接入的业务申请日志ID后，进一步包括：

设置该日志ID对应的日志数据在日志服务器中的存储方式：所述存储方式包括mysql数据库存储以及日志文件存储，所述mysql数据库存储方式为日志服务器将业务日志数据实时的写入mysql数据库中，所述日志文件存储方式为将数据写入文本文件中。