[发明专利]一种基于自学习的深度报文解析系统

说明书

本发明公开了一种基于自学习的深度报文解析系统，属于数据处理技术领域，包括：生成端和运行端，生成端包括：第一采集模块，第一解析模块，第一学习模块，第一学习模块具体包括：训练单元；上述技术方案的有益效果是：通过增加学习中枢，能够对现有网络环境中的数据进行机器学习，并把学习成果变为特征模型反馈到现有的特征库中，使特征库具备了自我更新的能力，且能与应用程序的更新速度保持同步，解决了现有技术中特征库维护量大，消耗的人力和资源大的问题，同时系统通过学习、反馈、再学习的过程，不断对现有的特征库进行自我优化，从而大大提高了特征识别的精确度。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于自学习的深度报文解析系统。

背景技术

DPI(深度报文解析)是一种基于数据包的深度检测技术，针对不同的网络应用层载荷进行深度检测，通过对报文的有效载荷检测决定其合法性，DPI深度报文解析系统在现有网络环境中广泛使用，该系统主要用于识别应用程序，识别虚拟身份，识别网络内容，对网络进行流量监控等技术领域。现在的互联网环境中，手机和电脑的应用程序种类繁多，层出不穷且更新速度快，特征库的更新无法保持同步，各应用程序之间进行网络通讯产生的数据量巨大，对其进行深度报文解析需要投入大量的人力进行特征库的更新和维护，耗费大量的人力资源的同时数据提取的精确度也并不是很高。

发明内容

根据现有技术中存在的上述问题，提供一种具备自我学习功能的深度报文解析系统，通过增加学习中枢，能够对现有网络环境中的数据进行机器学习，并把学习成果变为特征模型反馈到现有的特征库中，使特征库具备了自我更新的能力，且能与应用程序的更新速度保持同步，解决了现有技术中特征库维护量大，消耗的人力和资源大的问题，同时系统通过学习、反馈、再学习的过程，不断对现有的特征库进行自我优化，从而大大提高了特征识别的精确度。

上述技术方案具体包括：

一种基于自学习的深度报文解析系统，其中包括生成端和运行端，所述生成端连接所述运行端，所述生成端包括：

第一采集模块，用于抓取网络中的数据报文；

第一解析模块，连接所述第一采集模块，所述第一解析模块根据一预设的第一特征库对所述数据报文进行特征标记，并根据标记结果对所述数据报文进行分类存储，输出一分类结果；

第一学习模块，连接所述第一解析模块，所述第一学习模块包括：

训练单元，用于根据所述分类结果，将分类存储且进行特征标记的所述数据报文作为训练数据，对一特征识别模型进行第一机器学习，以形成并保存一包括所述数据报文的数据特征的第二特征库，应用所述第二特征库可对所述数据报文进行特征识别；

所述运行端中包括：

第二采集模块，用于抓取网络中的数据报文；

第二解析模块，连接所述第二采集模块，读取所述生成端保存的所述第二特征库，对所述第二采集模块抓取的所述数据报文进行特征解析，并输出解析结果；

输出模块，连接所述第二解析模块，用于将所述解析结果输出给用户使用。

优选地，其中，所述第一学习模块还包括：

清洗单元，连接所述训练单元，用于对所述分类结果进行数据清洗。

优选地，其中，所述第一特征库为现有的DNS特征库。

优选地，其中，所述第二解析模块根据所述第二特征库对所述第二采集模块抓取的所述数据报文进行特征标记，并根据标记结果对所述数据报文进行分类，输出为所述解析结果。

优选地，其中，所述运行端还包括：