[发明专利]数据仓库的数据维护方法

权利要求书

1.一种数据仓库的数据维护方法，将新数据源的数据接入到数据仓库中，其特征在于，包括：

格式匹配步骤，根据新数据源的数据特性确定与之匹配的操作单元，新数据源中的数据将被打包成操作单元指定的消息以进行传输；

采集通道配置步骤，根据操作单元生成配置方案，根据配置方案生成采集通道，新数据源的数据被打包成消息后将通过采集通道接入数据仓库；

数据格式配置步骤，对新数据源中的数据进行数据格式配置，数据格式与数据仓库以及采集通道相关联；

数据接入步骤，将新数据源中的数据打包成操作单元指定的消息，通过采集通道接入数据仓库，并根据配置的数据格式计算数据仓库的各个应用层所需要的数据结果。

2.如权利要求1所述的数据仓库的数据维护方法，其特征在于，所述消息是Kafka队列消息，格式匹配步骤中根据新数据源的原始数据格式和数据量来确定是否新增Kafka操作单元。

3.如权利要求2所述的数据仓库的数据维护方法，其特征在于，格式匹配步骤中，判断是否存在与新数据源匹配的已有Kafka操作单元；

如果存在已有的Kafka操作单元，则找到与该Kafka操作单元对应的配置方案和采集通道，验证配置方案和采集通道是否适用于新数据源，如果配置方案和采集通道适用于新数据源，则将所述Kafka操作单元、配置方案和和采集通道应用于新数据源；

如果Kafka操作单元的配置方案和采集通道不适用于新数据源，或者不存在与新数据源匹配的已有Kafka操作单元，则生成一个新的Kafka操作单元，并为该新的Kafka操作单元生成配置方案。

4.如权利要求3所述的数据仓库的数据维护方法，其特征在于，采集通道配置步骤中，为Kafka操作单元生成配置方案包括：

查找已有的配置方案中是否存在与该Kafka操作单元匹配的配置方案，如果存在则将该配置方案与该Kafka操作单元关联；

如果不存在与该Kafka操作单元匹配的已有配置方案，则根据Kafka操作单元新建配置方案并将新建的配置方案与该Kafka操作单元关联；

所述配置方案中指定至数据仓库的数据存储器的落盘路径，该落盘路径与Kafka操作单元相匹配。

5.如权利要求4所述的数据仓库的数据维护方法，其特征在于，采集通道配置步骤中，还包括为Kafka操作单元创建数据传送进程的监控。

6.如权利要求4所述的数据仓库的数据维护方法，其特征在于，采集通道配置步骤中，采集通道由Flume日志收集系统实现，根据所述配置方案对Flume进行配置，并且为Flume创建覆盖数据源、数据通道和数据节点的监控。

7.如权利要求6所述的数据仓库的数据维护方法，其特征在于，数据格式配置步骤中配置的数据格式包括：

根据数据仓库的操作数据存储器表配置分区字段；

配置数据采集任务的开始时间及结束时间，配置数据的去重规则、抽取规则和目标表；

配置数据的采集时间区间；

配置数据的冷却时间。

8.如权利要求7所述的数据仓库的数据维护方法，其特征在于，数据接入步骤包括：建立操作数据存储器表，将新数据源中的数据打包成操作单元指定的消息，通过采集通道经由操作数据存储器表存入数据仓库的数据存储器。

9.如权利要求7所述的数据仓库的数据维护方法，其特征在于，数据接入步骤包括：数据仓库的实现层作为计算组件，

进行数据去重计算，获得数据去重结果层的数据结果；

进行数据解析计算，获得数据解析结果层的数据结果；

进行数据聚合计算，获得数据聚合结果层的数据结果。

10.如权利要求9所述的数据仓库的数据维护方法，其特征在于，还包括调度及监控步骤，在调度及监控步骤中，执行分区合并和文件合并，执行数据备份和数据清理，并对数据传输和计算的进程进行监控和统计。