[发明专利]业务数据表处理方法、装置、计算机设备和存储介质有效
| 申请号: | 202010736508.3 | 申请日: | 2020-07-28 |
| 公开(公告)号: | CN111984740B | 公开(公告)日: | 2023-07-25 |
| 发明(设计)人: | 林健昌;邓超;张宗祺;张鹏;姜良雷 | 申请(专利权)人: | 招联消费金融有限公司 |
| 主分类号: | G06F16/28 | 分类号: | G06F16/28;G06F16/245 |
| 代理公司: | 华进联合专利商标代理有限公司 44224 | 代理人: | 李文渊 |
| 地址: | 518000 广东省深圳市前海深港合作区前*** | 国省代码: | 广东;44 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 业务 数据表 处理 方法 装置 计算机 设备 存储 介质 | ||
1.一种业务数据表处理方法,所述方法包括:
获取待处理业务数据表的数据信息;
查找所述待处理业务数据表对应的集成规则,根据所述数据信息判断所述待处理业务数据表对应的集成处理任务类型;
根据所述待处理业务数据表对应的集成处理任务类型,向所述集成处理任务类型对应的外部第一数据集成系统发送第一任务生成指令,所述第一任务生成指令用于在所述外部第一数据集成系统上新建所述待处理业务数据表对应的第一集成处理任务,所述第一集成处理任务用于对所述待处理业务数据表进行集成处理;
当接收到所述第一集成处理任务对应的任务切换指令时,根据所述任务切换指令,向所述集成处理任务类型对应的外部第一数据集成系统发送第一任务删除指令,以及向所述集成处理任务类型对应的外部第二数据集成系统发送第二任务生成指令,所述第一任务删除指令用于在所述第一外部数据集成系统删除所述第一集成处理任务,所述第二任务生成指令用于在所述第二外部数据集成系统新建所述任务切换指令对应的第二集成处理任务。
2.根据权利要求1所述的方法,其特征在于,所述获取待处理业务数据表的数据信息包括:
扫描预设存储位置内的业务元数据;
根据所述业务元数据识别新增的待处理业务数据表;
获取所述待处理业务数据表对应的数据信息。
3.根据权利要求1所述的方法,其特征在于,所述查找所述待处理业务数据表对应的集成规则,根据所述数据信息判断所述待处理业务数据表对应的集成处理任务类型包括:
查找所述待处理业务数据表对应的集成规则;
根据所述数据信息依次查询所述集成规则,根据查询结果确定所述待处理业务数据表对应的集成处理任务类型。
4.根据权利要求1所述的方法,其特征在于,所述集成处理任务类型包括离线集成任务以及准实时集成任务,所述第一任务生成指令包括第一准实时任务生成指令以及第一离线任务生成指令,所述根据所述待处理业务数据表对应的集成处理任务类型,向所述集成处理任务类型对应的外部第一数据集成系统发送第一任务生成指令包括:
当所述待处理业务数据表对应的集成处理任务类型为准实时集成任务时,向外部实时数据通路系统发送第一准实时任务生成指令,所述第一准实时任务生成指令用于在所述外部实时数据通路系统中新增所述待处理业务数据表对应准实时集成任务,并新建所述准实时集成任务对应的kudu表、视图和hive表;
当所述待处理业务数据表对应的集成处理任务类型为离线集成任务时,向外部离线调度系统发送第一离线任务生成指令,所述第一离线任务生成指令用于在所述外部离线调度系统中新增所述待处理业务数据表对应离线调度任务,并新建所述离线集成任务对应的临时表和目标表。
5.根据权利要求4所述的方法,其特征在于,所述第一任务删除指令包括第一准实时任务删除指令以及第一离线任务删除指令,所述第二任务生成指令包括第二离线任务生成指令以及第二准实时任务生成指令,所述当接收到所述第一集成处理任务对应的任务切换指令时,根据所述任务切换指令,向所述集成处理任务类型对应的外部第一数据集成系统发送第一任务删除指令,以及向所述集成处理任务类型对应的外部第二数据集成系统发送第二任务生成指令包括:
当接收到准实时集成任务对应的任务切换指令时,向所述外部实时数据通路系统发送第一准实时任务删除指令,以及向所述外部离线调度系统发送第二离线任务生成指令,所述第一准实时任务删除指令用于控制外部实时数据通路系统删除所述准实时集成任务,所述第二离线任务生成指令用于在所述外部离线调度系统中新增所述待处理业务数据表对应离线调度任务,新建所述准实时集成任务对应的临时表和目标表;
当接收到离线集成任务对应的任务切换指令时,向所述外部离线调度系统发送第一离线任务删除指令,以及向所述外部实时数据通路系统发送第二准实时任务生成指令,所述第一离线任务删除指令用于控制所述外部离线调度系统删除所述离线集成任务,所述第二准实时任务生成指令用于在所述外部实时数据通路系统中新增所述待处理业务数据表对应准实时集成任务,新建所述准实时集成任务对应的kudu表、视图和hive表。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于招联消费金融有限公司,未经招联消费金融有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010736508.3/1.html,转载请声明来源钻瓜专利网。





