[发明专利]一种数据预处理方法、装置、设备和计算机可读存储介质

说明书

本发明公开了一种数据预处理方法、装置、设备和计算机可读存储介质，包括：采集日志数据；所述日志数据包括网络安全设备日志数据、数据库日志数据、操作系统日志数据和应用系统日志数据；对所述日志数据进行拆解，得到结构化数据；所述结构化数据包含对象特征；根据预设关联信息库对所述对象特征进行筛选，得到审计数据。本发明通过对不同类型的日志数据进行数据采集，解决了现有数据预处理方法对数据采集不够全面的问题。以及通过将日志数据拆解为结构化数据，从中获取对象特征，通过对对象特征的筛选，保留了审计数据，剔除了无用数据，解决了无用数据堆积的技术问题。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据预处理方法、装置、设备和计算机可读存储介质。

背景技术

目前，随着数据安全问题的日渐凸显和数据安全相关法律法规的接连出台，数据安全正成为企业安全体系中的关键一环，越来越得到企业决策层的高度重视。在保护企业数据安全过程中，数据安全审计则起到着重要的作用。数据安全审计通过收集企业运营过程中的重要数据和敏感数据的相关操作信息来对数据安全风险进行预警、研判和分析。

但是现有阶段的数据安全审计系统在数据收集和处理上却存在如下不足：对数据采集不够全面，难以覆盖到重要数据和敏感数据的所有留存载体，包括：网络、终端、数据库和应用系统，存在采集盲区；对于采集到的数据一般都有进行数据清洗和数据转换等数据预处理操作，但是却没有对数据开展价值分析与预选操作，导致无用数据的堆积，给审计系统造成较大的数据处理压力。

发明内容

本发明提供了一种数据预处理方法、装置、设备和计算机可读存储介质，用于解决现有数据预处理方法对数据采集不够全面，没有对数据开展价值分析与预选操作，导致无用数据堆积的技术问题。

本发明提供了一种数据预处理方法，包括：

采集日志数据；所述日志数据包括网络安全设备日志数据、数据库日志数据、操作系统日志数据和应用系统日志数据；

对所述日志数据进行拆解，得到结构化数据；所述结构化数据包含对象特征；

根据预设关联信息库对所述对象特征进行筛选，得到审计数据。

可选地，所述采集日志数据的步骤，包括：

基于预设系统日志syslog协议接收预设网络安全设备发送的所述网络安全设备日志数据。

可选地，所述采集日志数据的步骤，还包括：

接收预设软件探针发送的所述数据库日志数据、所述操作系统日志数据和所述应用系统日志数据。

可选地，所述对所述日志数据进行拆解，得到结构化数据的步骤，包括：

对所述日志数据进行数据清洗，从所述日志数据中提取空值和无效值，并删除所述空值和无效值，得到已清洗日志数据；

对所述已清洗日志数据进行拆解，得到结构化数据。

本发明还提供了一种数据预处理装置，包括：

日志数据采集模块，用于采集日志数据；所述日志数据包括网络安全设备日志数据、数据库日志数据、操作系统日志数据和应用系统日志数据；

拆解模块，用于对所述日志数据进行拆解，得到结构化数据；所述结构化数据包含对象特征；

筛选模块，用于根据预设关联信息库对所述对象特征进行筛选，得到审计数据。

可选地，所述日志数据采集模块，包括：

第一接收子模块，用于基于预设系统日志syslog协议接收预设网络安全设备发送的所述网络安全设备日志数据。

可选地，所述日志数据采集模块，还包括：