[发明专利]客流数仓数据朔源的方法、装置、系统和存储介质

权利要求书

1.一种客流数仓数据朔源的方法，其特征在于，包括：

获取轨道交通客流日志数据；包括车站客流、换乘客流、途经客流、列车运力数据源的数据，实现不同数据源的数据采集；

将客流日志数据进行格式化入库解析；

将解析后的客流日志数据导入大数据平台,基于Hadoop大数据技术，实现存储实时和离线精细数据，在大数据存储之上建立ODS层、DWD层、DWS层、ADS层的设计和建模开发工作；

对每层的客流日志数据进行字段级血缘解析，得到客流数据仓库的血缘元数据信息，所述血缘元数据为用于解释所述血缘关系数据的数据；

将获取的血缘元数据信息存入元数据管理平台数据库。

2.根据权利要求1所述的客流数仓数据朔源的方法，其特征在于：

得到客流数仓的血缘元数据信息后，将血缘元数据信息存入Neo4j图数据库进行可视化展示；所述血缘元数据信息至少包括以下字段之一或组合：当前节点名称、父节点名称、子节点名称、表名称、输入对象列表、输出对象列表、表注释、数据源类型、数据库、数据位置、元数据sql文件位置、元数据修改时间。

3.根据权利要求1所述的客流数仓数据朔源的方法，其特征在于：获取轨道交通客流日志数据包括：

通过数据接口和ETL技术连接车站客流、换乘客流、途经客流、列车运力数据源的数据，实现不同数据源的数据采集。

4.根据权利要求1所述的客流数仓数据朔源的方法，其特征在于：将解析后的客流日志数据导入大数据平台,通过对于客流日志数据进行维度建模与分析生成客流数仓,构建ODS,DWD,DWS,ADS层包括：将解析好的客流日志数据导入到大数据平台,基于大数据技术，实现存储实时和离线精细数据，在大数据存储之上建立ODS层、DWD层、DWS层、ADS层；

ODS层属于客流原始数据层，直接从客流日志系统采集最原始的数据；

DWD为明细数据层，按照客流业务不同的数据维度及粒度对原始数据ODS层进行粗粒度的聚合生成；供下游DWS层做进一步数据聚合使用；

DWS为汇聚数据层，客流数据中按照相同维度进行进一步数据聚合的操作；为后续的ADS指标层进行指标计算时的数据调用；

ADS为指标数据层，根据不同的业务指标，根据前期开发的DWD,DWS层数据及指标逻辑进行数据开发，生成指标数据供业务使用。

5.根据权利要求1所述的客流数仓数据朔源的方法，其特征在于：对每层的客流日志数据进行字段级血缘解析，得到客流数仓的血缘元数据信息包括：

(1)注册客流数据字段级血缘解析UDF自定义函数；

(2)重构语义分析器SemanticAnalyzer，重写SQL解析主要逻辑；

(3)客流数仓字段级血缘解析逻辑计划生成和逻辑计划优化；

(4)客流数仓字段级血缘关系解析中，采用单独封装java获取表元数据信息getTableSpec方法实现元数据信息的切换，通过其方法获取相关客流数仓的hive表结构信息Schema，分区信息以及客流数仓表权限信息；

(5)添加钩子函数postExecHook，执行血缘关系日志LineageLogger获得血缘关系信息LineageContext；

(6)读取血缘关系信息LineageContext，组装客流数仓数据表与客流字段血缘关系信息。