[发明专利]一种实现批量数据处理的方法、系统和计算机集群有效
| 申请号： | 201610195313.6 | 申请日： | 2016-03-30 |
| 公开（公告）号： | CN107291720B | 公开（公告）日： | 2020-10-02 |
| 发明（设计）人： | 屈晋宇 | 申请（专利权）人： | 阿里巴巴集团控股有限公司 |
| 主分类号： | G06F16/27 | 分类号： | G06F16/27;G06Q40/02 |
| 代理公司： | 北京国昊天诚知识产权代理有限公司 11315 | 代理人： | 黄熊 |
| 地址： | 英属开曼群岛大开*** | 国省代码： | 暂无信息 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 一种 实现 批量 数据处理 方法 系统 计算机 集群 | ||
【说明书】：
本申请实施例公开了一种实现批量数据处理的方法、系统和计算机集群。所述方法包括：基于海量数据的原始数据表中至少两个不相关的维度建立处理任务表；捞取所述处理任务表中的待处理任务；处理所述捞取到的待处理任务所对应的原始数据表中的数据。利用本申请实施例，可以实现批量数据处理过程的精细化管理和控制。
技术领域
本申请涉及计算机网络技术领域，尤其涉及一种实现批量数据处理的方法、系统和计算机集群。
背景技术
大型系统中产生海量的数据，往往需要根据业务需求或系统需要对这些海量数据进行批量处理。例如，目前互联网交易平台每天产生的业务流水量达上亿级。出于业务需要，要对这些业务流水中的数据进行处理。例如对于互联网交易平台中的对账系统，其是提供第三方支付备付金账户与对应实际银行账户对账能力的核心系统，主要能力之一是核对入账流水和清算流水。所述入账流水包括第三方支付公司业务产生资金流水。所述清算流水包括银行或清算机构产生的业务单据资金流水。
如前述例子，对账系统需要将大量三方支付流水(入账流水)和对应的银行交易流水(清算流水)进行资金核对。现有技术中，这些流水按照银行一般分布在n张表中，例如按照涉及的银行分布在不同的表中：
表1
账号 银行 业务维度1 业务维度2 … … … … … … A0001 银行1 A0002 银行1 … …
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司，未经阿里巴巴集团控股有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201610195313.6/2.html，转载请声明来源钻瓜专利网。
