[发明专利]一种数据的批量处理方法及系统在审
| 申请号： | 201810900974.3 | 申请日： | 2018-08-09 |
| 公开（公告）号： | CN109101621A | 公开（公告）日： | 2018-12-28 |
| 发明（设计）人： | 陈仲宇;尹涛;刘新阳;朱建兵 | 申请（专利权）人： | 中国建设银行股份有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 北京集佳知识产权代理有限公司 11227 | 代理人： | 王宝筠 |
| 地址： | 100033 *** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种数据的批量处理方法，其特征在于，包括：当接收到对目标数据集的处理请求时，解析所述目标数据集包含的各个目标数据，确定每一个目标数据所属的集群；并行的将每一个集群中包含的各个目标数据进行切分得到各个切片数据集；确定所述各个切片数据集中的每一个切片数据所属的表和数据库；对每一个数据库中的每一个表包含的各个切片数据进行并行处理。上述方法，将目标数据集中的目标数据通过分片的方式分配给了不同的数据库中的不同表，通过多服务器加载进行并行处理，避免了现有技术中，由于是单库单表机制和资源限制，不能通过多服务器并行加载和处理，只能通过串行的方式来完成所有数据的加载和处理流程，处理效率低的问题。 | ||
| 搜索关键词： | 目标数据 切片数据 并行处理 多服务器 数据库 集群 加载 并行加载 处理流程 处理请求 处理效率 方式分配 资源限制 单表 单库 解析 并行 | ||
【主权项】：
1.一种数据的批量处理方法，其特征在于，包括：当接收到对目标数据集的处理请求时，解析所述目标数据集包含的各个目标数据，确定每一个目标数据所属的集群；并行的将每一个集群中包含的各个目标数据进行切分得到各个切片数据集；确定所述各个切片数据集中的每一个切片数据所属的表和数据库，其中，每一个数据库中包含至少一个表；对每一个数据库中的每一个表包含的各个切片数据进行并行处理。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中国建设银行股份有限公司，未经中国建设银行股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201810900974.3/，转载请声明来源钻瓜专利网。
