[发明专利]一种基于MapReduce的网络流量本体构建方法

说明书

本发明为一种基于MapReduce的网络流量本体构建方法，主要步骤为Ⅰ、设计网络流量本体结构，采用网络流量本体结构对网络流量资源进行分层描述，并建立资源描述的层次关系；Ⅱ、利用MapReduce并行计算框架构建网络流量本体；Ⅱ的子步骤Ⅱ‑1、通过MapReduce的映射函数捕获网络流量数据包并计算网络流量统计特征值；Ⅱ‑2、通过MapReduce的规约函数生成文件形式的网络流量本体并保存至Hadoop分布式文件系统。本发明在网络流量本体构建时采用云计算作为网络流量本体的构建及知识推理的存储和计算资源，为用户提供具有并行化、虚拟化、按需服务等特点的高效服务；借助MapReduce并行处理技术，有效地提高网络流量本体构建的效率。

技术领域

本发明涉及网络管理技术领域，具体为一种基于MapReduce的网络流量本体构建方法。

背景技术

随着Web技术的迅猛发展和企业信息化需求的不断提高，许多新型网络应用模式和应用需求应运而生，随之而来的网络流量数据也呈现出爆炸性增长，给网络监管带来前所未有的挑战，也使得用户对网络流量进行精细化管理的需求越来越强烈。作为管理和优化各类网络资源的关键技术，网络流量分类广泛应用于网络监控、QoS(Quality ofService，服务质量)管理、网络安全、态势分析等领域，是高效实现网络管理、流量控制以及安全检测的重要环节。

网络流量分类是指在基于TCP/IP协议的互联网中，按照网络的应用类型(例如WWW、FTP、MAIL、P2P等)，将网络通信产生的双向TCP流量或UDP流量进行分类。

近年来许多研究人员将注意力转向了基于网络流量统计特征的机器学习分类方法，根据流量的某些属性(如平均包长、平均包间隔时间等)的统计信息，采用机器学习方法对流量进行分类，该方法不受动态端口、载荷加密及网络地址转换的影响。目前网络流量分类较为广泛使用的机器学习方法主要有：贝叶斯、神经网络、支持向量机、决策树等。

在高速大规模复杂网络环境下，各个网络节点传感器使用不同的网络流量采集系统收集网络数据包，网络流量数据格式不一，语义、语法异构。故目前网络流量数据的特点是多源、异构、海量，现有的网络流量分类技术大多只能对网络流量数据进行简单的格式化，缺少对数据异构(格式异构、语法异构、语义异构)的有效解决方法，也缺乏对流量信息(如获取环境等)的描述及知识推理，获得的流量数据存在不一致性、不能共享和缺乏网络流量分类知识等问题，因而现有的流量分类方法难以提供网络管理决策分析所需的资源信息。

在人工智能领域，本体逐渐被应用于知识工程、智能信息集成、数据挖掘、海量信息的组织和处理等领域中。本体为解决资源规范、无二义性和可扩展性描述问题提供了有效的途径，在描述资源方面具有通用性、开放性、智能性、准确性和综合性等诸多优点。

近年来研究者尝试引入本体到网络流量分类领域。Pietrzyk，Marcin首次尝试形式化定义流的类别，使用经典的开发本体准则，迭代构建一个基于本体范例的类别分类树，旨在消除流类别定义的模糊性。Chengjie Gu等人提出一种基于流轮廓和本体的在线自学习网络流量分类框架，通过流轮廓与流量类别之间的映射关系实现流量分类。但是目前基于本体的网络流量分类方法还不能应用于大规模复杂网络，本体在网络流量分类领域的应用尚属起步阶段。

云计算是以数据为中心的密集型超级计算技术，对大数据集进行处理、分析，并向用户提供高效服务，具有并行化、虚拟化、按需服务等特点。其并行处理技术MapReduce能够为可划分的大规模数据并行计算处理问题提供充分的并行计算语义，已经被广泛接受。云计算技术为解决网络流量分类中海量数据处理问题提供了新方法。因此，本体与云计算相结合应用于网络流量分类，将发挥它们各自在海量异构数据描述与处理方面的优势，本体用于网络流量信息资源一致性描述和知识管理，而云计算为本体的构建及知识管理提供了存储和计算资源。

发明内容