[发明专利]基于大数据人工智能的开放数据API网关系统

权利要求书

1.基于大数据人工智能的开放数据API网关系统，其特征是，由API网关、KafKa分布式发布订阅消息单元、Hbase分布式存储单元、离线分析服务单元、实时分析服务单元和监控管理平台组成；

API网关，通过Nignx插件收集日志数据，将日志数据送入到KafKa分布式发布订阅消息单元的kafka消息队列之中；

KafKa分布式发布订阅消息单元，将带有日志数据的kafka消息队列分成两路kafka消息流，一路kafka消息流直接存入Hbase分布式存储单元中，作为离线历史数据进行备份存储；另一路kafka消息流发送到实时分析服务单元中，作为实时数据进行实时计算；

Hbase分布式存储单元，利用Logstash接收KafKa分布式发布订阅消息单元发送来的Kafka流，获取日志数据并对其进行处理和固化；

离线分析服务单元，利用Spark计算引擎获取Hbase分布式存储单元中存放的历史日志数据，确定各个服务关键性能指标的正常范围阈值，并生成流量预测模型、突发事件分类模型、用户行为分析模型和统计报表，并将上述正常范围阈值和流量预测模型、突发事件分类模型、用户行为分析模型和统计报表作为离线统计分析结果；其中离线分析服务单元计算各个服务关键性能指标的正常范围阈值的过程如下：首先通过历史日志数据获取服务关键性能指标项历史数据；其次按照服务状态分类，根据提炼的业务指标，分别进行异常阈值计算；接着采用数据探索的方法，统计正常状态和异常状态下的各类服务关键性能指标平均值，标准差，方差，离散系数和相关系数；然后利用离群点分析法，剔除噪点数据；之后利用有效果数据进行值域分布分析，计算出正态分布情况；最后根据业务场景以及正太分析结果，计算阈值边界，返回推荐阈值上下限；

实时分析服务单元，利用SparkStreaming流计算引擎接收KafKa分布式发布订阅消息单元发送来的Kafka流，获取实时日志数据并进行流式计算，同时结合离线分析服务单元的离线统计分析结果，实现突发事件识别、异常访问行为分析和攻击行为检测，并将上述突发事件识别、异常访问行为分析和攻击行为检测作为实时分析结果；

监控管理平台，接收离线分析服务单元送来的离线统计分析结果和实时分析服务单元送来的实时分析结果，并根据离线统计分析结果和实时分析结果发出对应的告警消息。

2.根据权利要求1所述的基于大数据人工智能的开放数据API网关系统，其特征是，服务关键性能指标包括时间段内请求总流量和次数、时间段内响应总流量、请求成功数、请求失败数、请求总数、请求准确率、平均响应时间、接入应用数和访问服务数。