[发明专利]客流数仓数据朔源的方法、装置、系统和存储介质

说明书

本申请实施例提供一种客流数仓数据朔源的方法、装置、系统和存储介质，其中，方法包括：获取轨道交通客流日志数据；将客流日志数据进行格式化入库解析；将解析后的客流日志数据导入大数据平台,通过对于客流日志数据进行维度建模与分析生成客流数仓,构建ODS,DWD,DWS,ADS层；对每层的客流日志数据进行字段级血缘解析，得到客流数仓的血缘元数据信息；将获取的血缘元数据信息存入元数据管理平台数据库。本申请实施例提供的客流数仓数据朔源方法实现了客流数仓数据可朔源,提高了数仓数据质量可评估性,便于对客流数仓的数据价值进行进一步的挖掘，为数据安全提供了有力的保障。

技术领域

本申请涉及表级别、字段级别的数仓血缘关系的解析技术领域，尤其是涉及一种客流数仓数据朔源的方法、装置、系统和存储介质。

背景技术

数字经济是以数据资源为关键要素，以现代信息网络为主要载体，以信息通信技术融合应用、全要素数字化转型为重要推动力，促进公平与效率更加统一的新经济形态，可见数字化时代已成必然趋势。

当前数据安全已成为事关国家安全与经济社会发展的重大问题，与此同时国家相继出台了《数据安全法(草案)》和《个人信息保护法》，旨在为落实数据安全保护责任。可见数据对于个人、企业乃至国家的重要性是不言而喻的。

现有公司数仓体系数据朔源难,一旦出现了数据问题,需要开发人员逐一去开发脚本里一个一个去找关联关系,使得数仓运维及数据追责变得极为困难。问题体现在如下方面：

1、客流系统的客流日志数据的采集和汇总、解析、注入大数据系统的问题；2、没有有效的利用客流的客流日志数据；

3、不方便客流数仓数据价值的挖掘及客流数仓数据质量的评估。

发明内容

为了解决上述技术缺陷之一，本申请实施例中提供了一种客流数仓数据朔源的方法、装置、系统和存储介质。

根据本申请实施例的第一个方面，提供了一种客流数仓数据朔源的方法，包括：

获取轨道交通客流日志数据；包括车站客流、换乘客流、途经客流、列车运力数据源的数据，实现不同数据源的数据采集；

将客流日志数据进行格式化入库解析；

将解析后的客流日志数据导入大数据平台,基于Hadoop大数据技术，实现存储实时和离线精细数据，在大数据存储之上建立ODS层、DWD层、DWS层、ADS层的设计和建模开发工作；

对每层的客流日志数据进行字段级血缘解析，得到客流数据仓库的血缘元数据信息，所述血缘元数据为用于解释所述血缘关系数据的数据；

将获取的血缘元数据信息存入元数据管理平台数据库。

根据本申请实施例的第二个方面，提供了一种客流数仓数据朔源的装置，包括；

获取单元，用于获取轨道交通客流日志数据；包括车站客流、换乘客流、途经客流、列车运力数据源的数据，实现不同数据源的数据采集；

格式化入库解析单元，用于将客流日志数据进行格式化入库解析；

导入单元，用于将解析后的客流日志数据导入大数据平台,基于Hadoop大数据技术，实现存储实时和离线精细数据，在大数据存储之上建立ODS层、DWD层、DWS层、ADS层的设计和建模开发工作；

生成单元，用于通过对于客流日志数据进行维度建模与分析生成客流数仓；

构建单元，用于构建ODS,DWD,DWS,ADS层；

字段级血缘解析单元，用于对每层的客流日志数据进行字段级血缘解析，得到客流数仓的血缘元数据信息；

储存单元，用于将获取的血缘元数据信息存入元数据管理平台数据库。