[发明专利]按序进行并行数据处理的方法和装置有效
申请号: | 201610658275.3 | 申请日: | 2016-08-11 |
公开(公告)号: | CN107729135B | 公开(公告)日: | 2021-03-16 |
发明(设计)人: | 赵星 | 申请(专利权)人: | 创新先进技术有限公司 |
主分类号: | G06F9/50 | 分类号: | G06F9/50 |
代理公司: | 北京博思佳知识产权代理有限公司 11415 | 代理人: | 林祥 |
地址: | 开曼群岛大开曼岛*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 按序 进行 并行 数据处理 方法 装置 | ||
1.一种按序进行并行数据处理的方法,所述并行数据处理由N个加工处理功能模块完成,N为大于1的自然数,其特征在于,所述方法包括:
以M个分组接收乱序的记录,对每个分组中的记录分别进行排序;M为大于1的自然数;
将每个分组排序后的记录分发至所述分组对应的N个队列;每个分组对应于相同的N个队列;每个分组的N个队列分别对应于N个加工处理功能模块且每个加工处理功能模块对应M个队列;
将每个加工处理功能模块对应的M个队列中的记录,按照顺序输出至所述加工处理功能模块;
其中,所述将每个分组排序后的记录分发至所述分组的N个队列,包括:将每个分组排序后的记录根据相同的预定处理分配算法分发至所述分组的N个队列,所述预定处理分配算法能够使需要按序处理的记录分配到对应于同一个加工处理功能模块的队列。
2.根据权利要求1所述的方法,其特征在于,所述队列为先进先出队列;
所述将每个加工处理功能模块对应的M个队列中的记录,按照顺序输出至所述加工处理功能模块,包括:在每个加工处理功能模块对应的M个队列内位于队列头的M个记录均不为空时,将所述M个记录中顺序最先的记录输出至所述加工处理功能模块。
3.根据权利要求2所述的方法,其特征在于,所述在每个加工处理功能模块对应的M个队列内位于队列头的M个记录均不为空时,将所述M个记录中顺序最先的记录输出至所述加工处理功能模块,包括:对每个加工处理功能模块对应的M个队列,当每个队列的队列头记录均不为空时,如果某个队列的队列头记录的顺序先于其他(M-1)个队列的队列头记录时,弹出所述队列的队列头记录;否则等待空队列的输入。
4.根据权利要求1所述的方法,其特征在于,所述乱序的记录由并行的至少两个前置加工功能模块生成;
所述以M个分组接收乱序的记录,包括:接收每个前置加工功能模块按照预定排序分配算法输出到M个分组的乱序记录。
5.一种按序进行并行数据处理的装置,所述并行数据处理由N个加工处理功能模块完成,N为大于1的自然数,其特征在于,所述装置包括:
分组排序单元,用于以M个分组接收乱序的记录,对每个分组中的记录分别进行排序;M为大于1的自然数;
分组分发单元,用于将每个分组排序后的记录分发至所述分组对应的N个队列;每个分组对应于相同的N个队列;每个分组的N个队列分别对应于N个加工处理功能模块且每个加工处理功能模块对应M个队列;所述分组分发单元具体用于:将每个分组排序后的记录根据相同的预定处理分配算法分发至所述分组的N个队列,所述预定处理分配算法能够使需要按序处理的记录分配到对应于同一个加工处理功能模块的队列;
队列排序单元,用于将每个加工处理功能模块对应的M个队列中的记录,按照顺序输出至所述加工处理功能模块。
6.根据权利要求5所述的装置,其特征在于,所述队列为先进先出队列;
所述队列排序单元具体用于:在每个加工处理功能模块对应的M个队列内位于队列头的M个记录均不为空时,将所述M个记录中顺序最先的记录输出至所述加工处理功能模块。
7.根据权利要求6所述的装置,其特征在于,所述队列排序单元具体用于:对每个加工处理功能模块对应的M个队列,当每个队列的队列头记录均不为空时,如果某个队列的队列头记录的顺序先于其他(M-1)个队列的队列头记录时,弹出所述队列的队列头记录;否则等待空队列的输入。
8.根据权利要求5所述的装置,其特征在于,所述乱序的记录由并行的至少两个前置加工功能模块生成;
所述分组排序单元具体用于:接收每个前置加工功能模块按照预定排序分配算法输出到M个分组的乱序记录,对每个分组中的记录分别进行排序。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于创新先进技术有限公司,未经创新先进技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201610658275.3/1.html,转载请声明来源钻瓜专利网。