[发明专利]用于处理数据的方法和装置在审
| 申请号: | 201810812280.4 | 申请日: | 2018-07-23 |
| 公开(公告)号: | CN108984770A | 公开(公告)日: | 2018-12-11 |
| 发明(设计)人: | 高伟康;王炎林;邢越;张建伟;程怡 | 申请(专利权)人: | 北京百度网讯科技有限公司 |
| 主分类号: | G06F17/30 | 分类号: | G06F17/30;G06F9/48 |
| 代理公司: | 北京英赛嘉华知识产权代理有限责任公司 11204 | 代理人: | 王达佐;马晓亚 |
| 地址: | 100085 北京市*** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 标识集合 处理数据 待处理数据 方法和装置 计算系统 流式 单元处理 获取目标 目标程序 数量调整 申请 | ||
1.一种用于处理数据的方法,包括:
获取目标执行单元的待调整数量,所述目标执行单元是流式计算系统中执行目标程序段的单元;
根据所述待调整数量调整所述流式计算系统中的目标执行单元的数量;
对于调整后的至少一个目标执行单元中的目标执行单元,确定与该目标执行单元对应的标识集合,标识集合中的标识用于指示待处理数据;通过该目标执行单元处理对应的标识集合中的标识所指示的待处理数据。
2.根据权利要求1所述的方法,其中,所述通过该目标执行单元处理对应的标识集合中的标识所指示的待处理数据之前,所述方法还包括:
根据该目标执行单元的上游执行单元运行所生成的待处理数据的标识所属的标识集合,通过该目标执行单元的上游执行单元持久化所生成的待处理数据。
3.根据权利要求1所述的方法,其中,所述通过该目标执行单元处理对应的标识集合中的标识所指示的待处理数据之后,所述方法还包括:
通过该目标执行单元向该目标执行单元的上游执行单元发送指示信息,所述指示信息用于指示已被该目标执行单元处理完成的该目标执行单元的上游执行单元运行所生成的待处理数据。
4.根据权利要求2和3所述的方法,其中,所述通过该目标执行单元处理对应的标识集合中的标识所指示的待处理数据,包括:
重新启动调整后的至少一个目标执行单元;
通过重新启动的该目标执行单元接收并处理该目标执行单元的上游执行单元发送的,与该目标执行单元对应的标识集合包括的标识所指示的持久化的待处理数据中,根据所述指示信息确定的未被该目标执行单元处理的待处理数据。
5.根据权利要求1-3中任一项所述的方法,其中,所述通过该目标执行单元处理对应的标识集合中的标识所指示的待处理数据,包括:
根据所述流式计算系统中的目标执行单元接收待处理数据的历史记录,对该目标执行单元的上游执行单元向该目标执行单元发送的待处理数据进行去重;
通过该目标执行单元处理对应的标识集合中的标识所指示的去重后的待处理数据。
6.一种用于处理数据的装置,包括:
获取单元,被配置成获取目标执行单元的待调整数量,所述目标执行单元是流式计算系统中执行目标程序段的单元;
调整单元,被配置成根据所述待调整数量调整所述流式计算系统中的目标执行单元的数量;
处理单元,被配置成对于调整后的至少一个目标执行单元中的目标执行单元,确定与该目标执行单元对应的标识集合,标识集合中的标识用于指示待处理数据;通过该目标执行单元处理对应的标识集合中的标识所指示的待处理数据。
7.根据权利要求6所述的装置,其中,所述处理单元,包括:
持久化子单元,被配置成根据该目标执行单元的上游执行单元运行所生成的待处理数据的标识所属的标识集合,通过该目标执行单元的上游执行单元持久化所生成的待处理数据。
8.根据权利要求6所述的装置,其中,所述处理单元,包括:
发送子单元,被配置成通过该目标执行单元向该目标执行单元的上游执行单元发送指示信息,所述指示信息用于指示已被该目标执行单元处理完成的该目标执行单元的上游执行单元运行所生成的待处理数据。
9.根据权利要求7和8所述的装置,其中,所述处理单元,包括:
启动子单元,被配置成重新启动调整后的至少一个目标执行单元;
处理子单元,被配置成通过重新启动的该目标执行单元接收并处理该目标执行单元的上游执行单元发送的,与该目标执行单元对应的标识集合包括的标识所指示的持久化的待处理数据中,根据所述指示信息确定的未被该目标执行单元处理的待处理数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810812280.4/1.html,转载请声明来源钻瓜专利网。





