[发明专利]基于改进分层时间记忆网络的CDN流量异常检测装置及方法

权利要求书

1.一种基于改进分层时间记忆网络的CDN流量异常检测装置，其特征在于，包括数据采集模块、数据预处理模块、数据存储模块、系统调度模块、异常检测模块和展示模块；

所述数据采集模块，使用分布式搜索引擎ElasticSearch、日志解析工具Logstash、分析可视化平台Kbana对Nginx的原生日志进行收集，使用安装在服务器上的Filebeat监视指定的日志文件并获取改动信息；

所述数据预处理模块，用于对原生日志分字段进行数据解析，并将解析出的时间和流量值字段的数据按照时间粒度进行聚合，得到CDN日志流量时间序列；

所述数据存储模块，包括分布式搜索引擎Elasticsearch查询数据库和Mysql普通数据库，其中分布式搜索引擎Elasticsearch查询数据库用于存储日志解析工具Logstash处理过的初始时间序列数据并建立索引，Mysql数据库用于存储流量的初始时间序列和数据预处理模块处理过的基于可变时间粒度聚合的时间序列数据；

所述系统调度模块，通过调用数据存储模块接口获取需要检测的时间序列数据，通过调用异常检测模块接口进行异常检测，并将异常数据作为输入传递给展示模块接口进行可视化输出；

所述异常检测模块，通过系统调度模块获取流量时间序列数据，并采用改进分层时间记忆网络模型进行在线学习，完成异常可能性计算，并输出异常可能性判断的检测结果；

所述展示模块，对关键过程进行可视化呈现，包括日志数据展示、日志数据清洗展示、时间序列展示和异常检测结果展示。

2.根据权利要求1所述的基于改进分层时间记忆网络的CDN流量异常检测装置，其特征在于，所述数据预处理模块，通过过滤插件对日志解析工具Logstash收集的来自分布式发布订阅消息系统Kafka的消息进行处理，过滤插件包括Grok、Mutate和Date，其中Grok插件进行正则捕获，Mutate插件进行数据的修改，Date插件将字符串形式的日期转换成date类型，输送到分布式搜索引擎Elasticsearch中用以生成index。

3.根据权利要求1所述的基于改进分层时间记忆网络的CDN流量异常检测装置，其特征在于，所述异常检测模块，包括HTMTAD模型，HTMTAD模型是指基于改进分层时间记忆网络的时间序列异常检测模型，HTMTAD模型包括编码器模块、向量矩阵更新模块、异常检测模块和异常评分模块，其中向量矩阵更新模块包括空间池和序列存储器；

经由数据预处理模块的流量时间序列表示算法处理的时间序列输入至编码器模块，编码器模块输出二进制向量矩阵，交由空间池对二进制向量矩阵进行池化，生成具有高度稀疏性的二进制编码，交由序列存储器进行集合状态矩阵和预测状态矩阵的更新；异常检测模块基于向量矩阵的状态学习高阶序列和序列的学习规则，进行异常检测并输出预测误差，异常评分模块在预测误差的基础上使用高斯尾部概率公式进行异常可能性估计，实现最终的时间序列异常的检测。

4.一种基于改进分层时间记忆网络的CDN流量异常检测方法，其特征在于，包括以下步骤：

步骤1、数据采集模块将对原生日志进行采集，并将采集的数据转化为json格式，发送至数据预处理模块；

步骤2、数据预处理模块对json格式的数据进行主要特征提取，得到CDN流量时间序列表示；

步骤3、数据存储模块对数据采集模块的日志数据和数据预处理模块的CDN数据进行存储，用以日志展示和检测结果测试；

步骤4、系统调度模块分别调用其他各个模块的接口，完成整个异常检测的过程；

步骤5、异常检测模块通过系统调度模块获取流量时间序列数据，将该数据输入至改进分层时间记忆网络HTMTAD模型中，使用HTMTAD模型进行在线学习，完成异常可能性计算，输出异常可能性判断的检测结果；

步骤6、展示模块对关键过程进行可视化呈现，包括日志数据展示、日志数据清洗展示、时间序列展示和异常检测结果展示。