[发明专利]数据仓库的数据维护方法

说明书

本发明揭示了一种数据仓库的数据维护方法，将新数据源的数据接入到数据仓库中，法包括：格式匹配步骤，根据新数据源的数据特性确定与之匹配的操作单元，新数据源中的数据将被打包成操作单元指定的消息以进行传输；采集通道配置步骤，根据操作单元生成配置方案，根据配置方案生成采集通道，新数据源的数据被打包成消息后将通过采集通道接入数据仓库；数据格式配置步骤，对新数据源中的数据进行数据格式配置，数据格式与数据仓库以及采集通道相关联；数据接入步骤，将新数据源中的数据打包成操作单元指定的消息，通过采集通道接入数据仓库，并根据配置的数据格式计算数据仓库的各个应用层所需要的数据结果。

技术领域

本发明涉及软件技术领域，更具体地说，涉及数据仓库的数据维护技术。

背景技术

数据正在成为一种重要的资源，越来越多的应用都会调用或者存储大量的数据用于应用服务，或者对保存的数据进行分析运算来提升自身的功能。海量数据的存储和管理正在成为一个重要的问题。

目前的数据平台大多采用数据库(DB)+操作数据存储器(ODS)+数据仓库(DW)的架构。数据库(Database)层多为关系型数据库，用于保存最上层数据，及计算结果，数据库直接对接相应的数据需求方。操作数据存储器(Operational Data Store)介于数据库DB和数据仓库(Data Warehouse)之间，ODS可以按照主题提供集成的、可变的当前数据的集合，ODS的数据源可以来自数据库DB，也可以接入其他的数据接收系统接收外来数据。ODS可以根据数据仓库DW的要求为数据仓库提供指定数据，可以认为是数据仓库的数据过渡区。数据仓库DW更多地是面向运用，数据仓库(Data Warehouse)是一个面向主题的(SubjectOriented)、集成的(Integrated)、相对稳定的(Non-Volatile)、反映历史变化(TimeVariant)的数据集合。

在存在大量高频变化数据的应用场景，比如外卖平台、电子商务平台等的应用中。会高频地向数据仓库传输更新的数据，数据仓库为了满足应用需求也会被配置强大的计算能力，不断根据数据的更新进行运算，对数据结果进行及时更新。

在数据接入到数据仓库是，一般会经历从消息中心到采集通道再到数据仓库的数据存储集群的过程。目前的主流配置中，消息中心常用的是Kafka，采集通道常用Flume，数据仓库的数据存储集群常用Hadoop集群HDFS，数据仓库的计算中心常用Hive。在这种场景下，就要求开发人员对于Kafka、Flume、HDFS和Hive都有所了解，能够完成相应的配置。显然让专注于Kafka、Flume、HDFS和Hive中某一项的开发人员去了解其他的方向有一定的难度，如果专门配置对于Kafka、Flume、HDFS和Hive都有所了解的人员来负责数据入库，会显著增加流程周期和交接环节，导致成本上升和开发周期拉长。

发明内容

本发明提出一种数据仓库的数据维护方法，能自动完成数据的入库。

根据本发明的一实施例，提出一种数据仓库的数据维护方法，将新数据源的数据接入到数据仓库中，该方法包括：

格式匹配步骤，根据新数据源的数据特性确定与之匹配的操作单元，新数据源中的数据将被打包成操作单元指定的消息以进行传输；

采集通道配置步骤，根据操作单元生成配置方案，根据配置方案生成采集通道，新数据源的数据被打包成消息后将通过采集通道接入数据仓库；

数据格式配置步骤，对新数据源中的数据进行数据格式配置，数据格式与数据仓库以及采集通道相关联；

数据接入步骤，将新数据源中的数据打包成操作单元指定的消息，通过采集通道接入数据仓库，并根据配置的数据格式计算数据仓库的各个应用层所需要的数据结果。

在一个实施例中，消息是Kafka队列消息，格式匹配步骤中根据新数据源的原始数据格式和数据量来确定是否新增Kafka操作单元。