[发明专利]一种服务网关日志记录及检索方法

说明书

本发明特别涉及一种服务网关日志记录及检索方法。该服务网关日志记录及检索方法，首先，全方位的记录服务调用过程中产生的信息，合理定义日志结构，为日志索引奠定基础；然后对日志索引进行合理定义及切分，实现对日志数据合理索引，从而能够精确分析日志信息；最后构建分析模型，对日志记录进行分析统计，以实现对通过网关发送请求获取数据的行为的日志记录。该服务网关日志记录及检索方法，借助Kafka、Elasticsearch等大数据技术，实现了对网关调用日志的分布式记录，进而实现了网关使用情况的实时监控，提高了系统使用中的可控性。

技术领域

本发明涉及数据检索分析技术领域，特别涉及一种基于Elasticsearch的服务网关日志记录及检索方法。

背景技术

异构数据库系统是相关的多个数据库系统的集合，可以实现数据的共享和透明访问，每个数据库系统在加入异构数据库系统之前本身就已经存在，拥有自己的DBMS。异构数据库的各个组成部分具有自身的自治性，实现数据共享的同时，每个数据库系统仍保有自己的应用特性、完整性控制和安全性控制。

异构数据库系统的异构性主要体现在以下几个方面：

(一)计算机体系结构的异构

各个参与的数据库可以分别运行在大型机、小型机、工作站、PC或嵌入式系统中。

(二)基础操作系统的异构

各个数据库系统的基础操作系统可以是Unix、Windows NT、Linux等。

(三)DBMS本身的异构

可以是同为关系型数据库系统的Oracle、SQL Server等，也可以是不同数据模型的数据库，如关系、模式、层次、网络、面向对象，函数型数据库共同组成一个异构数据库系统。

异构数据库系统的目标在于实现不同数据库之间的数据信息资源、硬件设备资源和人力资源的合并和共享。其中关键的一点就是以局部数据库模式为基础，建立全局的数据模式或全局外视图。这种全局模式对于建立高级的决策支持系统尤为重要。

大型机构在许多地点都有分支机构，每个子机构的数据库中都有着自己的信息数据，而决策制订人员一般只关心宏观的、为全局模式所描述的信息。建立在数据仓库技术基础上的异构数据库全局模式的描述是一种好的解决方案。数据仓库可以从异构数据库系统中的多个数据库中收集信息，并建立统一的全局模式，同时收集的数据还支持对历史数据的访问，用户通过数据仓库提供的统一的数据接口进行决策支持的查询。

对于异构数据库系统，实现数据共享应当达到两点：一是实现数据库转换；二是实现数据的透明访问。但是目前还没有一种广泛使用的数据定义模型和数据查询语言，实现数据的透明访问可以采用多对一转换、双向的中间件等技术。开放式数据库互连(OpenDataBaseconnectivity，简称ODBC)是一种用来在相关或不相关的数据库管理系统中存取数据的标准应用程序接口(API)。ODBC为应用程序提供了一套高层调用接口规范和基于动态链接库的运行支持环境。

在信息系统建设的过程中，总是存在异构系统之间的接口对接，两两系统之间的频繁对接，不仅带来了繁重的重复开发工作，也成为了数据跨区域，跨行业，跨部门流转共享的障碍。

于是，建立统一的数据分发平台，把原来系统对接模式的网状结构变为星形结构，保证只与我对接一次的对接模式。从而大大减少系统对接中的工作量，并成为一种趋势。为满足这种业务场景的需求，建设统一的服务管理平台成为必然，构建统一的服务调用网关，实现对网关请求日志的记录，检索，聚合和分析，成为保障服务稳定运行的重要手段。

为了全方位的检索，监控和分析网关请求数据的服务调用情况，及时发现系统运行中潜在的问题，挖掘数据的价值，保持系统运行的稳定。本发明提出了一种基于Elasticsearch的服务网关日志记录及检索方法。

发明内容