[发明专利]基于网络安全数据治理的数仓处理方法

说明书

本发明提供一种基于网络安全数据治理的数仓处理方法，包括以下步骤：步骤1：采集中心收集数据并发送给数仓的基础库；步骤2：数仓的基础库将步骤1收集到的数据发送到资源库和知识库中；步骤3：资源库和知识库通过数据挖掘、机器学习等技术形成主题库；步骤4：主题库中的数据按照多维的方式进行存储，生成面向决策分析需求的数据立方体。本发明基于网络安全数据治理的新型数仓结构设计是以数仓为载体使数据治理与数据分析挖掘紧密结合，让治理好的数据更好的应用于数据分析、更好的服务于客户业务。

技术领域

本发明涉及一种数仓，具体涉及一种基于网络安全数据治理的数仓处理方法。

背景技术

大数据时代，网络安全数据的特点量大、样多、高速等怎样从海量网络数据中通过新型数仓这一数据治理的载体更好的形成数据标准、元数据、主数据、数据资源目录等最基础的数据治理元素，为后续数据挖掘获取有价值的数据提供可靠的基础数据支撑，基于网络安全数据治理的新型数仓结构设计，使数据治理与数据分析挖掘紧密结合，实现了数据治理就是为了更好的实现数据价值这一根本理念。

网络安全数据治理流程从原始数据采集层、数据预处理层、数据存储层、数据处理层、情报库、分析层、业务层等纬度将原始流量数据、告警数据、安全事件数据、资产数据、情报数据等通过新型数仓结构实现“数据模型标准化、数据关系脉络化、数据加工可视化、数据质量度量化、数据分析挖掘流程化、数据服务自动化”让网络安全数据治理更好的服务于网络安全数据挖掘分析，进而更好的让数据支撑业务，为客户业务服务。

传统数据治理系统，包括：权限管理模块，用于对用户的身份信息进行验证，并根据验证结果授予用户操作权限；数据源管理模块，用于从数据源数据库中获取待治理数据，并将待治理数据发送至数据治理模块；任务构建模块，用于获取用户输入的数据治理要求，根据数据治理要求及用户操作权限为待治理数据构建数据治理任务；数据治理模块，用于接收待治理数据，并根据数据治理任务对待治理数据进行数据治理，生成治理结果。因此只是达到为“数据治理”而治理，没有实现数据治理的最终价值，数据治理的价值在于实现数据挖掘、分析尽可能的挖掘获取数据背后潜在的价值。

目前数据治理数仓的主要缺点包括：

1.只是达到为“数据治理”而治理，没有实现数据治理的最终价值，数据治理的价值在于实现数据挖掘、分析尽可能的挖掘获取数据背后潜在的价值。

2.数据仓库的ETL:数据抽取、数据转换、数据加载过程,知识将数据从源到目标层的清洗、转换、加工流转，没有知识的探索过程。

因此，需要对现有技术进行改进。

数仓：数据仓库(DataWarehouse)，数据仓库是一个面向主题的(SubjectOriented)、集成的(Integrate)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合，用于支持管理决策。

数仓ETL：数据抽取、数据转换、数据加载过程。

数仓DAD：从数据中发现知识、获取知识、提炼知识的过程。

网络安全数据治理：网络安全数据治理是指从原始流量数据、告警数据、安全事件数据、资产数据等通过一定的技术手段加工提炼转化为能够为安全业务服务的统一主数据、从具有很少或没有组织和流程治理到企业范围内的综合数据治理、从尝试处理主数据混乱状况到主数据井井有条的一个过程。数据治理是一种数据管理概念，涉及使组织能够确保在数据的整个生命周期中存在高数据质量的能力。

发明内容

本发明要解决的技术问题是提供一种高效的基于网络安全数据治理的数仓处理方法。

为解决上述技术问题，本发明提供一种基于网络安全数据治理的数仓处理方法，包括以下步骤：

步骤1：采集中心收集数据并发送给数仓的基础库；