[发明专利]一种数据批量处理的方法和装置有效
申请号: | 201310016209.2 | 申请日: | 2013-01-16 |
公开(公告)号: | CN103927314B | 公开(公告)日: | 2017-10-13 |
发明(设计)人: | 张涛;唐凯 | 申请(专利权)人: | 阿里巴巴集团控股有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京国昊天诚知识产权代理有限公司11315 | 代理人: | 许志勇 |
地址: | 英属开曼群岛大开*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据 批量 处理 方法 装置 | ||
1.一种数据批量处理的方法,其特征在于,包括:
接收多个用户请求数据并确定与所述多个用户请求数据相关的一个或多个数据汇总模板;
在所述一个或多个数据汇总模板的每一个中设置汇总维度和设置可执行时刻,其中,所述汇总维度为由汇总条件组成的字段;以及
当多个所述汇总维度相同时,批量处理所述多个用户请求数据。
2.根据权利要求1所述的方法,其特征在于,所述在所述一个或多个数据汇总模板的每一个中设置汇总维度和设置可执行时刻的还包括:
基于所述用户请求数据,解析每一个所述数据汇总模板中的配置文件,并设置所述汇总维度并设置所述可执行时刻。
3.根据权利要求2所述的方法,其特征在于:所述配置文件包括汇总维度的描述方式和可执行时刻的描述方式;以及
所述解析每一个所述数据汇总模板中的配置文件包括:解析所述汇总维度的描述方式和所述可执行时刻的描述方式;
所述设置所述汇总维度并设置所述可执行时刻包括:根据所述汇总维度的描述方式设置所述汇总维度,根据所述可执行时刻的描述方式设置可执行时刻。
4.根据权利要求1所述的方法,其特征在于,所述当多个所述汇总维度相同时,批量处理多个用户请求数据还包括:
在所述可执行时刻,将多个所述汇总维度相同的用户请求数据组装成一个或多个汇总批次,并批量处理多个用户请求数据。
5.根据权利要求4所述的方法,其特征在于,所述组装成一个或多个汇总批次还包括:基于预设的处理阈值,来判断用户请求数据的数量是否需要组装成一个或多个汇总批次;其中,
如果用户请求数据的数量大于所述处理阈值,则将所述用户请求数据分成多个汇总批次进行处理,并对所述多个汇总批次进行编码,使用得到的多个汇总批次序号关联多个汇总批次;以及
如果用户请求数据的数量小于或者等于处理阈值,则将所述用户请求数据作为一个汇总批次进行处理。
6.根据权利要求1所述的方法,其特征在于,所述批量处理多个用户请求数据还包括:
在可执行时刻,调用数据库中的数据操作项,并依照所述数据操作项中的操作项信息处理所述多个用户请求数据。
7.根据权利要求6所述的方法,其特征在于,还包括:
在所述数据操作项中,至少包括如下操作项信息:所述汇总维度、所述可执行时刻、所述汇总批次序号。
8.根据权利要求1所述的方法,其特征在于,所述批量处理多个用户请求数据还包括同步地调用数据汇总插件。
9.一种数据批量处理的装置,包括:
接收与选择模块,用于接收多个用户请求数据并确定与所述多个用户请求数据相关的一个或多个数据汇总模板;
配置模块,用于在所述一个或多个数据汇总模板的每一个中设置汇总维度和设置可执行时刻,其中,所述汇总维度为由汇总条件组成的字段;以及
执行模块,用于当多个所述汇总维度相同时,批量处理所述多个用户请求数据。
10.根据权利要求9所述的装置,其特征在于,所述配置模块还包括:
基于所述用户请求数据,解析每一个所述数据汇总模板中的配置文件,并设置所述汇总维度并设置所述可执行时刻。
11.根据权利要求10所述的装置,其特征在于:所述配置文件包括汇总维度的描述方式和可执行时刻的描述方式;以及
配置模块还包括解析模块:用于解析所述汇总维度的描述方式和所述可执行时刻的描述方式;
配置模块还包括设置模块:用于根据所述汇总维度的描述方式设置所述汇总维度,根据所述可执行时刻的描述方式设置可执行时刻。
12.根据权利要求9所述的装置,其特征在于,所述执行模块还包括:
在所述可执行时刻,将多个所述汇总维度相同的用户请求数据组装成一个或多个汇总批次,并批量处理多个用户请求数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司,未经阿里巴巴集团控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201310016209.2/1.html,转载请声明来源钻瓜专利网。
- 上一篇:网页获取方法及装置
- 下一篇:一种比对校样文件的方法及装置
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置