[发明专利]基于大数据人工智能的开放数据API网关系统

说明书

本发明公开一种基于大数据人工智能的开放数据API网关系统，主要由API网关、KafKa分布式发布订阅消息单元、Hbase分布式存储单元、离线分析服务单元、实时分析服务单元和监控管理平台组成。本发明监控分析服务与网关核心相互独立，在智能管理下，可以不直接干预网关运作情况下，通过对网关的日志进行实时分析和离线分析，得到智能分析结果，从而间接的再对网关进行智能管控，其不仅能够保证网关的准确性，健壮性和安全性，而且即使服务宕机网关仍可正常使用。

技术领域

本发明涉及API网关技术领域，具体涉及一种基于大数据人工智能的开放数据API网关系统。

背景技术

网关的监控运维是网关系统的重要组成部分，其作用在于实时获悉系统状态，记录日志定位问题、提供7*24的守护。运维人员通过分析监控系统产生的统计报表，对服务进行更合理的资源分配和权重调整，并且在手动配置相关预警阈值之后能够实现自动报警，推送消息给运维人员。伴随着服务的持续介入，必须提高网关的准确性(确保平台能够提供稳定准确的数据资源内容)、健壮性(平台能够支撑住各类突发事件，并智能协调资源处理)、安全性(深层次的挖掘出一些潜在性的安全隐患，及各类攻击行为)，同时解决网关监控运维系统中存在的人工规则不可靠、异常定位困难、告警响应不及时等问题。

通过对开放数据API(Application Programming Interface，应用程序接口)网关日志分析，可以配置告警指标来监控日志数据，进行异常检测、预测告与警，提升开放数据API网关的智能化水平。然而在传统的日志分析平台中，通常采用一些人工经验和业务规则的方法去进行分析监控，这种分析监控存在以下不足：(1)大量的工作不仅费时费力，而且很难实现对网关运行状况的实时监控和预测；(2)缺少对攻击行为处理的相关功能，攻击行为处理(异常方位行为分析)是发现用户攻击行为时，才会进行抵御攻击并发送告警消息；(3)缺少用户行为分析模型，对于不同的行为，特征也不尽相同需要同过综合分析才能定性用户行为是否是攻击行为。

发明内容

本发明所要解决的是现有开放数据API采用人工经验和业务规则的方法去进行分析监控而很难实现对网关运行状况的实时监控和预测的问题，提供一种基于大数据人工智能的开放数据API网关系统。

为解决上述问题，本发明是通过以下技术方案实现的：

基于大数据人工智能的开放数据API网关系统，由API网关、KafKa分布式发布订阅消息单元、Hbase分布式存储单元、离线分析服务单元、实时分析服务单元和监控管理平台组成。

API网关，通过Nignx插件收集日志数据，将日志数据送入到KafKa分布式发布订阅消息单元的kafka消息队列之中。

KafKa分布式发布订阅消息单元，将带有日志数据的kafka消息队列分成两路kafka消息流，一路kafka消息流直接存入Hbase分布式存储单元中，作为离线历史数据进行备份存储；另一路kafka消息流发送到实时分析服务单元中，作为实时数据进行实时计算。

Hbase分布式存储单元，利用Logstash接收KafKa分布式发布订阅消息单元发送来的Kafka流，获取日志数据并对其进行处理和固化。

离线分析服务单元，利用Spark计算引擎获取Hbase分布式存储单元中存放的历史日志数据，确定各个服务关键性能指标的正常范围阈值，并生成流量预测模型、突发事件分类模型、用户行为分析模型和统计报表，并将上述正常阈值范围和流量预测模型、突发事件分类模型、用户行为分析模型和统计报表作为离线统计分析结果。

实时分析服务单元，利用SparkStreaming流计算引擎接收KafKa分布式发布订阅消息单元发送来的Kafka流，获取实时日志数据并进行流式计算，同时结合离线分析服务单元的离线统计分析结果，实现突发事件识别、异常访问行为分析和攻击行为检测，并将上述突发事件识别、异常访问行为分析和攻击行为检测作为实时分析结果。