[发明专利]一种实时数仓宽表加工处理方法及系统在审
| 申请号： | 202010760035.0 | 申请日： | 2020-07-31 |
| 公开（公告）号： | CN111949657A | 公开（公告）日： | 2020-11-17 |
| 发明（设计）人： | 周小润;刘跃红;管正爽;郭倩 | 申请（专利权）人： | 银盛支付服务股份有限公司 |
| 主分类号： | G06F16/22 | 分类号： | G06F16/22;G06F16/2457;G06F16/2458;G06F16/27;G06Q30/06 |
| 代理公司： | 深圳市深可信专利代理有限公司 44599 | 代理人： | 万永泉 |
| 地址： | 518000 广东省深圳市龙华*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种实时数仓宽表加工处理方法及系统，涉及数据查询技术领域；该方法包括以下的步骤：S1、数据的同步，将Oracle数据库中的数据实时同步到Kafka集群和mongodb数据库，mongodb数据库设置有线上接口；S2、基础表信息的同步，将Oracle数据库中的基础表信息同步到Redis集群中，作为缓存数据；S3、数据的消费，Kafka应用程序消费Kafka集群中的数据，在数据查询时，Kafka应用程序先行查询Redis集群中的缓存数据，如未查询到缓存数据，则通过线上接口查询mongodb数据库中的数据；S4、数据的下发，当Kafka应用程序查询到数据时，则将查询结果下方至宽表；当Kafka应用程序未查询到数据时，则将查询结果存储至Hbase集群中；本发明的有益效果是：能够快速关联到维表信息并获取到对应字段。 | ||
| 搜索关键词： | 一种 实时 数仓宽表 加工 处理 方法 系统 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于银盛支付服务股份有限公司，未经银盛支付服务股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202010760035.0/，转载请声明来源钻瓜专利网。
