[发明专利]基于边缘计算的超大规模DPI数据的处理系统

说明书

本发明提供一种基于边缘计算的超大规模DPI数据的处理系统，包括：网关，具有DPI插件，进行DPI数据采集和边缘计算；云端服务器，对DPI数据进行存储并对边缘计算无法处理的信息进行处理；数据传输，连接网关和云端服务器，以对数据进行传输。本发明基于边缘计算的超大规模DPI数据的处理系统，网关进行数据采集、数据清洗、特别识别、上报信息提取等边缘计算，云端服务器对边缘计算无法处理的信息进行处理，充分发挥了网关边缘计算的算力，而且减少数据的上传量，减少了带宽的占用，提高了云端服务器的运算效率，从而提高了整体数据处理的效率，同时还减少了数据被窃取的风险，尤其是用户隐私数据，提高了安全性。

技术领域

本发明涉及DPI的数据处理方案，尤其涉及一种基于边缘计算的超大规模DPI数据的处理系统。

背景技术

DPI(Deep Packet Inspection)是一种基于数据包的深度检测技术，通过对网络的关键点处的流量和报文内容进行检测分析，能完成对所在链路的业务精细化识别、业务流量流向分析、业务流量占比统计、业务流量占比整形，以及对病毒、木马进行过滤和对滥用P2P的控制等功能。

随着越来越多网关设备的加入，对传统云计算中心的数据接收、清洗、计算的能力要求也越来越高。现有技术中传统运营商针对DPI数据的处理方式采用了基于MapReduce大数据处理技术，实际上是一种批处理方式。批处理模式首先要完成数据的累积和存储，然后通过Hadoop客户端将数据上传到HDFS上，最后才启动MapReduce进行数据处理，处理后再写入到HDFS。这种方式必须要所有数据都要准备好，然后统一进行集中计算和价值发现。这种方式具有如下缺点：

(1)多源异构数据处理。感知层数据属于海量级别，数据之间具有很强的冗余性、相关性、实时性和多源异构特性。融合的多源异构数据和实时处理要求给云计算带来了无法解决的巨大挑战。

(2)带宽负载和资源浪费。云计算是一种聚合度很高的集中式服务计算，用户将数据发送到云端存储和处理，将消耗大量的网络带宽和计算资源，进而引发服务中断、网络时延等问题。同时，对网络边缘设备的负载要求也相当高，数据在边缘设备和云计算中心之间的长距离传输能耗问题显得尤为突出。

(3)安全和隐私保护。网络边缘数据涉及个人隐私，传统的云计算模式需要将这些隐私数据上传至云计算中心，这将增加泄露用户隐私数据的风险。

发明内容

鉴于目前现有技术的不足，本发明的目的在于提供一种基于边缘计算的超大规模DPI数据的处理系统，可以快速、方便的完成数据处理，提高效率，降低成本。

为达到上述目的，本发明的实施例采用如下技术方案：

一种基于边缘计算的超大规模DPI数据的处理系统，包括：

网关，具有DPI插件，进行DPI数据采集和边缘计算；

云端服务器，对DPI数据进行存储并对边缘计算无法处理的信息进行处理；

数据传输，连接网关和云端服务器，以对数据进行传输。

进一步，其中所述DPI插件，包括：

DPI数据采集体系，采集任何有线数据和无线数据并进行清洗；

DPI数据分析体系，包括特征识别，基于特征字的识别技术通过对业务流中特定数据报文中的指纹信息的检测以确定业务流承载的应用。

进一步，其中所述指纹信息，包括特定的端口、特定的字符串或者特定的比特序列。

进一步，其中所述DPI数据分析体系，还包括上报信息提取，对原始数据进行筛选和提取关键字，并传送到云端服务器。

进一步，其中所述云端服务器，采用批处理方式进行数据处理。