[发明专利]一种垃圾数据深度过滤方法及系统

说明书

本发明公开一种垃圾数据深度过滤方法及系统，所述方法包括：获取网络数据，对所述网络数据进行五元组初步过滤；将初步过滤后的数据进行文本向量化表示，采用改进的k均值聚类算法对向量化表示的文本进行聚类划分，确定数据源，基于数据源进行二次过滤；基于卷积神经网络进行深度内容过滤。本发明实现了对非法数据和垃圾进行多层次深度过滤，保障数据安全，提高过滤精度。

技术领域

本发明涉及数据过滤技术领域，具体涉及一种深度数据过滤方法及系统。

背景技术

计算机、互联网、物联网等信息产业的发展，网络上时刻不停的流转着海量的数据流，随着大数据概念的兴起，凭借大数据分析对海量数据的处理，对海量数据进行监控、过滤，能够高效精准地对相关业务服务作出改进。

现有数据过滤大部分基于协议过滤，通过五元组中的一项或多项组合，即源IP地址、源端口、目的IP地址、目的端口、或传输层协议中的至少一项。当采用黑名单过滤时，当待过滤的数据中与黑名单中的某一条记录相符时，执行相应的过滤操作将数据拒绝通过/或将数据丢弃，否则使数据通过。当过滤类型为白名单过滤时，当待过滤的数据中与白名单中的某一条记录相符时，执行相应的过滤操使数据通过，否则拒绝数据通过/或将数据丢弃。这些方式在一定程度上对数据安全起到了较好的保护作用，而对海量网络数据中的垃圾数据过滤效果一般。

发明内容

有鉴于此，本发明提出了一种物联网数据过滤方法及系统，用于解决现有数据过滤方法无法有效过滤非法数据的问题。

本发明第一方面，公开一种垃圾数据深度过滤方法，所述方法包括：

获取网络数据，对所述网络数据进行五元组初步过滤；

将初步过滤后的数据进行文本向量化表示，采用改进的k均值聚类算法对向量化表示的文本进行聚类划分，确定数据源，基于数据源进行二次过滤；

基于优化的AdaBoost方法进行深度内容过滤。

优选的，所述五元组初步过滤包括源IP地址、目的IP地址、源端口号、目的端口号和传输协议类型的过滤。

优选的，所述将初步过滤后的数据进行文本向量化表示，对向量化表示的文本进行聚类划分，确定数据源具体包括：

基于不同协议，将初步过滤后的网络数据包进行还原，得到二进制文件；

基于词袋模型，对二进制文件进行特征提取，得到文本特征向量，完成文本向量化表示；

获取标准文本向量集，采用改进的k均值聚类算法对将标准文本向量集划分成多个类簇，确定各个类簇的中心点，计算向量化表示的文本所属类簇，在所属类簇内通过相似度计算的方式确定数据源。

优选的，所述采用改进的k均值聚类算法对将训练样本集划分成多个类簇具体包括：

设置种群规模和边界，在边界范围内初始化聚类类簇个数，基于不同的聚类类簇个数进行k均值聚类，计算不同聚类结果下的适应度，根据适应度计算最优位置并进行个体位置更新，迭代运算最后得到最优的位置作为聚类类簇个数K，粒子群算法的优化目标为各个类簇的类内距离值均值之和最小。

优选的，所述基于优化的AdaBoost方法进行深层内容过滤具体包括：

采用条件生成对抗网络对所述标准文本向量集进行数据增强，得到训练集；

通过所述训练集训练卷积神经网络分类模型，将二次过滤后的数据输入所述卷积神经网络模型，根据分类结果进行深度内容过滤。

本发明第二方面，公开一种垃圾数据深度过滤系统，所述系统包括：

初步过滤模块：获取网络数据，对所述网络数据进行五元组初步过滤；