[发明专利]一种实时数仓宽表加工处理方法及系统

权利要求书

1.一种实时数仓宽表加工处理方法，其特征在于，该方法包括以下的步骤：

S1、数据的同步，将Oracle数据库中的数据实时同步到Kafka集群中，同时将Oracle数据库中的数据实时同步至mongodb数据库，mongodb数据库设置有线上接口；

S2、基础表信息的同步，将Oracle数据库中的基础表信息同步到Redis集群中，作为缓存数据；

S3、数据的消费，Kafka应用程序消费Kafka集群中的数据，在数据查询时，Kafka应用程序先行查询Redis集群中的缓存数据，如未查询到缓存数据，则通过线上接口查询mongodb数据库中的数据；

S4、数据的下发，当Kafka应用程序查询到数据时，则将查询结果下方至宽表；当Kafka应用程序未查询到数据时，则将查询结果存储至Hbase集群中。

2.根据权利要求1所述的一种实时数仓宽表加工处理方法，其特征在于，所述的步骤S1中，通过Ogg将Oracle数据库中的数据实时同步到Kafka集群中。

3.根据权利要求1所述的一种实时数仓宽表加工处理方法，其特征在于，所述的步骤S2中，基础表信息包括部门前一天新增的数据。

4.根据权利要求1所述的一种实时数仓宽表加工处理方法，其特征在于，所述的步骤S2中，基础表信息包括但不限于部门表、权限表、商户表以及商品种类表。

5.根据权利要求1所述的一种实时数仓宽表加工处理方法，其特征在于，所述的步骤S3中，Kafka应用程序消费的数据包括订单支付金额，该订单支付金额包括下单消息数据和支付消息数据，其数据查询包括以下的步骤：

S31、如下单消息数据进入Kafka应用程序，则Kafka应用程序查询对应的支付消息数据，如查询到支付消息数据，则将查询结果下发至宽表，如未查询到支付消息数据，则将查询结果存储至Hbase集群中；

S32、如支付消息数据先行进入Kafka应用程序，则Kafka应用程序查询对应的下单消息数据，如查询到下单消息数据，则将查询结果下发至宽表，如未查询到下单消息数据，则将查询结果存储至Hbase集群中。

6.一种实时数仓宽表加工处理系统，其特征在于，该系统包括Oracle数据库、mongodb数据库、Kafka集群、Redis集群、Hbase集群以及宽表；

所述的Oracle数据库分别同Kafka集群和Redis集群相连接，Kafka集群用于接收Oracle数据库中实时同步的数据，Redis集群用于接收Oracle数据库中同步的基础表信息；所述的Oracle数据库与mongodb数据库之间实现数据同步，mongodb数据库上设置有线上接口；

Kafka应用程序连接在Kafka集群和Redis集群上，Kafka应用程序用于消费Kafka集群中的数据，同时对Redis集群的数据进行查询，Kafka应用程序还连接至线上接口，用于在Redis集群中未查询数据时，实现在mongodb数据库中实现数据查询；

所述的Hbase集群和宽表均连接在Kafka应用程序，所述的宽表用于接收经Kafka应用程序查询到的数据，Hbase集群用于存储Kafka应用程序未查询到数据的查询结果。

7.根据权利要求6所述的一种实时数仓宽表加工处理系统，其特征在于，所述的Oracle数据库与Kafka集群通过Ogg实现数据同步。

8.根据权利要求6所述的一种实时数仓宽表加工处理系统，其特征在于，所述Redis集群在接收Oracle数据库中同步的基础表信息后，形成缓存数据，Kafka应用程序则对该缓存数据进行查询。