[发明专利]一种实时数仓宽表加工处理方法及系统

说明书

本发明公开了一种实时数仓宽表加工处理方法及系统，涉及数据查询技术领域；该方法包括以下的步骤：S1、数据的同步，将Oracle数据库中的数据实时同步到Kafka集群和mongodb数据库，mongodb数据库设置有线上接口；S2、基础表信息的同步，将Oracle数据库中的基础表信息同步到Redis集群中，作为缓存数据；S3、数据的消费，Kafka应用程序消费Kafka集群中的数据，在数据查询时，Kafka应用程序先行查询Redis集群中的缓存数据，如未查询到缓存数据，则通过线上接口查询mongodb数据库中的数据；S4、数据的下发，当Kafka应用程序查询到数据时，则将查询结果下方至宽表；当Kafka应用程序未查询到数据时，则将查询结果存储至Hbase集群中；本发明的有益效果是：能够快速关联到维表信息并获取到对应字段。

技术领域

本发明涉及数据查询技术领域，更具体的说，本发明涉及一种实时数仓宽表加工处理方法及系统。

背景技术

目前无论在电商还是金融领域很多数据都是分布在不同业务部门不同业务库下的，比如在电商里面订单可能在业务部订单库里面，支付信息可能存储在支付部的支付库下。很多时候我们需要对外实时提供查询服务，那就涉及跨库访问问题，随着业务的增长业务划分愈加细，那么跨部门访问问题越加突出。传统的解决方案偏向于增加代理(中间件)，通过中间件去和不同数据库交互然后汇集数据。但是这种解决方案实时性很大程度上受到硬件制约，查询开销较大。

目前对于大多数中小企业都倾向于将需要的不同业务数据抽取出来整合成一张宽表，对外提供服务。但是这其中面临很多技术点：接收多个消息，消息先后顺序无法保证；如何保证时效性的同时不丢失数据。

发明内容

为了克服现有技术的不足，本发明提供一种实时数仓宽表加工处理方法及系统，能够快速关联到维表信息并获取到对应字段。

本发明解决其技术问题所采用的技术方案是：一种实时数仓宽表加工处理方法，其改进之处在于，该方法包括以下的步骤：

S1、数据的同步，将Oracle数据库中的数据实时同步到Kafka集群中，同时将Oracle数据库中的数据实时同步至mongodb数据库，mongodb数据库设置有线上接口；

S2、基础表信息的同步，将Oracle数据库中的基础表信息同步到Redis集群中，作为缓存数据；

S3、数据的消费，Kafka应用程序消费Kafka集群中的数据，在数据查询时， Kafka应用程序先行查询Redis集群中的缓存数据，如未查询到缓存数据，则通过线上接口查询mongodb数据库中的数据；

S4、数据的下发，当Kafka应用程序查询到数据时，则将查询结果下方至宽表；当Kafka应用程序未查询到数据时，则将查询结果存储至Hbase集群中。

进一步的，所述的步骤S1中，通过Ogg将Oracle数据库中的数据实时同步到 Kafka集群中。

进一步的，所述的步骤S2中，基础表信息包括部门前一天新增的数据。

进一步的，所述的步骤S2中，基础表信息包括但不限于部门表、权限表、商户表以及商品种类表。

进一步的，所述的步骤S3中，Kafka应用程序消费的数据包括订单支付金额，该订单支付金额包括下单消息数据和支付消息数据，其数据查询包括以下的步骤：

S31、如下单消息数据进入Kafka应用程序，则Kafka应用程序查询对应的支付消息数据，如查询到支付消息数据，则将查询结果下发至宽表，如未查询到支付消息数据，则将查询结果存储至Hbase集群中；

S32、如支付消息数据先行进入Kafka应用程序，则Kafka应用程序查询对应的下单消息数据，如查询到下单消息数据，则将查询结果下发至宽表，如未查询到下单消息数据，则将查询结果存储至Hbase集群中。