[发明专利]一种适用于加密与非加密数据流的内容识别方法

说明书

本申请的技术方案公开了一种适用于加密与非加密数据流的内容识别方法，属于网络与数据通信技术领域。本申请的技术方案包括：用于获取流量数据的数据采集；用于提取数据流特征的信息预处理；用于评估待测数据流时频信号特征的分析模型；用于实现数据流内容识别的分类模型。本技术方案利用数据流的上下行交互行为特征作为内容识别依据，所设计的方法与协议无关、与应用无关、与数据加密无关，相对于其他方法，具有更广阔的应用范围；相比于已有方法具有更好的性能。

技术领域

本发明属于网络数据流内容识别处理的技术领域，具体涉及一种加密与非加密网络的数据流的内容识别方法。

背景技术

随着互联网技术的发展，用户需求变得更加多样，流量的形式也越来越多，数据流所承载内容的异构性日益突出，主要表现有：①网络传输数据的类型、应用、内容日益增多，如多媒体、游戏、即时通信、移动端APP、以及各种IoT业务；②同一种应用或协议被用于传输不同内容类型的数据，比如Web或QQ等应用中存在着图片、视频、游戏、音乐等多种类型数据。日益复杂的数据内容给网络管理带来了新的挑战，有效识别数据流内容并实现定制化管理，对提升网络的服务质量、保障网络的稳定性与鲁棒性具有重要意义。

现有的流量分析技术主要用于协议与应用的识别，这些方法包括：基于标记式的方法和基于流统计特征的方法。

基于标记式的数据流识别方法包括基于端口号以及基于负载信息的方法。在数据流识别的早期阶段，基于端口号的识别技术曾被认为是最快、最简单的数据流分类技术，该方法利用在IANA(Internet Assigned Numbers Authority)注册的端口号来识别流量；然而，目前的很多应用或协议使用端口伪装和端口动态技术来躲避监管，基于端口号的识别技术已不能满足当前的需求。基于负载的数据流识别技术通常也被称为是深度包检测(DPI)，该方法利用已知协议的签名信息等，通过匹配包的负载信息来进行数据流的识别与分类，但是该方法不能识别未知或新创建的签名对应的应用，而且基于负载信息的方法无法对加密数据流进行识别；基于负载的数据流分析技术往往需要获取IP分组的负载信息，该方法过多涉及隐私问题，并且该方法无法对加密数据流进行识别，其使用受到限制。

基于流统计特征的方法主要是根据流量的统计特征建立机器学习分类模型识别流量，该方法主要从IP分组级和数据流级提取多维的特征向量来表示流。然而，在现代网络中，网络协议或应用的设计越来越复杂，同一种协议用来传输多种内容类型的数据流，同一应用集成多种协议并实现不同的功能，这打破了以往“协议-应用-内容”一一对应的模式，仅仅对协议或应用进行识别已不能满足高效网络管理的需要。

总而言之，在现有的TCP/IP网络体系结构中，数据流内容类型识别仍面临以下的挑战：1)TCP/IP体系结构中没有用于标记传输内容属性的字段，尽管有些应用层协议定义了内容标记的方法，但是这些方法损害了用户的隐私；此外，由于存在端口滥用的问题，动态端口技术被广泛应用，基于传输层端口号的识别技术可靠性降低，基于端口号的内容识别技术不再适用；2)为了躲避网络监管，越来越多的服务提供商开始使用加密技术以及共享协议技术提供传输服务。而随着加密私有协议以及共享协议的应用，传统上“协议-应用-内容”一一对应的假设难以继续成立，同一协议或应用被用于多种内容数据的传输，端口滥用的问题进一步向协议与应用滥用的方向发展，传统上基于协议或应用的数据流分析方法也已不再适用。

发明内容

为解决前述现有技术中的一个或者多个问题，本发明提供了一种适用于加密与非加密数据流的内容识别方法，该方法利用数据流交互行为的时频信号特征实现内容识别。

本发明提供的技术方案如下：

一种适用于加密与非加密数据流的内容识别方法，包括以下步骤：

S1.数据采集，数据采集对接外界网络，用于获取数据流样本；