[发明专利]基于分布式数据库的彩信日志查询方法与系统

说明书

技术领域

本发明涉及一种彩信日志查询方法与系统，尤其涉及的是一种基于分布式数据库对彩信业务接口日志的生成、采集、储存与查询的方法和系统。

背景技术

现有技术中，彩信业务是电信增值业务中的重要收入组成，在未来的电信利润中，彩信业务将占越来越大的比例。目前的彩信日志多采用开始与结束日志的方式进行记录，即在彩信中心接收到发送方所发送的彩信的时候记录一次日志，彩信中心在向接收方发送日志的时候再记录一次日志，如图1所示的。而对业务处理过程不做记录，这样就增加了异常流程分析与故障定位的难度。

一般的彩信中心都是以均衡负载的多台业务处理机集群组成的，每台业务处理机都会产生相应的日志，这样的分布式结构给日志查询工作带来了难度。传统的日志以文件形式保存，如果需要查询其中的信息，只能通过文件查询的方式，获取有效信息的效率是非常低的。

现有技术的接口日志记录方式指对彩信系统各模块之间的信令交互过程进行记录，如图2所示。所述彩信系统的模块包括：发送方终端(HTTP)、本地彩信平台(MMSP)、存储设备(Storage)、用户数据库(DBServer)、对端彩信平台(MMSP^*)、接收方终端(HHTP^*)等。图中的若干“消息”表示在各设备之间的信令交互，信令交互的过程就是彩信系统业务处理的过程。如图2中所示“消息1”表示彩信中心的HTTP协议处理模块收到来自WAP网关提交的MM1Submit.REQ消息后，进行消息组包、解码，交给对端彩信平台模块进行必要的参数检查，记录“消息1”可以通过日志发现在此过程中发生的问题。所有在一个信令流程上的消息，都有唯一的流程标识，称为消息ID，可以通过消息ID来查找在一个流程上的所有日志。由于各设备之间的通讯是通过消息接口来完成的，所以其日志称为接口日志。

但是接口日志的记录也会带来以下问题：

1、存储空间变大。原来一个彩信流程只需要记录开始和结束两条日志，大约占用1k的存储空间，现在需要10-20条才能行，存储空间平均扩大5-10倍，对日志服务器的存储空间和数据处理能力都有更高的要求。

2、查询效率降低。一个彩信流程需要展现很多种日志，这必然会降低最终结果显示的效率。

3、采用多台日志服务器集群的方式存储日志，可以降低单台日志服务器的压力，但是服务器数量增加，会降低系统的健壮性，降低系统的稳定性。

因此，现有技术还有待于改进和发展。

发明内容

本发明所要解决的技术问题是：提供一种基于分布式数据库的彩信日志查询方法与系统，克服现有日志模型中故障排查困难、对接口日志查询效率低的问题。

本发明的技术方案包括：

一种基于分布式数据库的彩信日志查询系统，其包括：彩信中心、日志服务器、日志查询服务器和WEB客户端；其中：

所述彩信中心包含多台业务处理机，用于并发处理业务，每台业务处理机在业务处理过程中生成日志文件；

所述日志服务器包括有对应的采集器及数据库，用于采集各台业务处理机生成的日志文件和将文件批量导入到所述数据库，采用多台集群方式同步处理所述日志文件；

所述日志查询服务器用于提供日志服务器的查询接口和向所述WEB客户端的WEB服务；

所述WEB客户端用于显示日志。

所述的方法，其包括以下步骤：

A、日志生成：由业务处理机处理业务并产生消息的时候记录日志，并生成指定格式的文件进行保存；

B、日志获取：由采集器将各业务处理机的日志文件下载到日志服务器上；

C、日志入库：所述日志服务器将文件批量导入到数据库系统中，同时建立相应的索引，以提供给所述日志查询服务器使用；

D、日志查询：设置WEB服务器，接收WEB客户端的查询请求，并向所述WEB客户端发送查询结果；

E、日志显示：所述WEB客户端接收查询结果，并即时显示。

所述的方法，其中，所述步骤D还包括：

D1、设置日志查询池，管理和提供各日志服务器的连接，上报日志服务器异常的情况；

D2、所述WEB服务器提供查询的WEB服务，根据WEB客户端提交的查询条件，使用所述日志查询池所提供的接口对分布式数据库进行查询。

所述的方法，其中，所述步骤A中还包括：将所述业务处理机记录的日志保存在缓存中，在达到预定数量后生成指定格式文件。