[发明专利]一种移动感知复杂事件并行处理方法及系统有效
申请号: | 201710240188.0 | 申请日: | 2017-04-13 |
公开(公告)号: | CN106997395B | 公开(公告)日: | 2020-07-03 |
发明(设计)人: | 胡昊;龚宇豪;匡宏宇;蔡昕辰;吕建 | 申请(专利权)人: | 南京大学 |
主分类号: | G06F16/2455 | 分类号: | G06F16/2455;G06F16/2453 |
代理公司: | 南京知识律师事务所 32207 | 代理人: | 张苏沛 |
地址: | 210046 江苏*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 移动 感知 复杂 事件 并行 处理 方法 系统 | ||
1.一种移动感知复杂事件并行处理方法,其特征在于,包括以下步骤:
步骤1,数据划分:对当前operator产生的数据进行数据映射,将这些数据传输给对应的后续operator;对属于不同查询范围的数据进行分割;
步骤1.1,数据映射,将当前operator产生的数据分割不同查询范围,相同查询范围的数据发送至同一个后续operator;
步骤1.2,标记信息广播,在当前查询范围数据发送完毕后使用标记信息对所有数据流进行分割;
operator在处理事件的运行时刻包含多个副本,每个副本处理operator输入数据流的一个划分,从而并行地处理来自不同查询范围的、带有移动语义的数据,提升系统能够处理的输入数据率上限以及输出复杂事件的吞吐率;
步骤2,数据合并:属于同一个划分的数据传输至同一个operator,对数据进行排序,并提交给operator处理模块;
步骤2.1,数据收集,operator缓存前续operator发送给它的数据;
步骤2.2,数据排序,operator对步骤2.1中缓存的数据按时间戳递增进行排序;
步骤2.3,数据提交,operator将步骤2.2中排好序的数据提交给其处理模块;
步骤3,数据处理:
步骤3.1,数据处理,对合并后的数据提交至operator处理模块进行处理;若存在后续operator,将处理的结果作为当前operator产生的数据,转入步骤1;
步骤3.2,范围处理结束信号发送,表明operator可以开始处理下一查询范围数据。
2.根据权利要求1所述的移动感知复杂事件并行处理方法,其特征在于:所述数据映射,使用一致性哈希算法将数据流中的数据按照其主键映射生成新的数据流并传输至不同的operator,并且映射的同时保证数据之间的相对顺序与它们在原数据流中的相对顺序相同;数据映射中,保证不同operator生成的、需要同一个后续operator处理的数据发送至相同的operator中。
3.根据权利要求1所述的移动感知复杂事件并行处理方法,其特征在于:所述标记信息广播,用户的查询范围更新后,向最低层次的每一条数据流末端插入一个标记信息数据;对数据流进行映射时,若读取到的是标记信息,则说明该数据流在前一个查询范围内的数据已映射完毕,此时向所有映射生成的子数据流末端插入一个新的标记信息,并暂停数据的发送。
4.根据权利要求1所述的移动感知复杂事件并行处理方法,其特征在于,所述数据收集:operator以队列的形式缓存所有映射给它的数据流中的数据;一个operator包括多种数据流作为输入,每种数据流包括多条子数据流,分别对这些子数据流进行缓存。
5.根据权利要求1或4所述的移动感知复杂事件并行处理方法,其特征在于,所述数据排序:operator对其缓存的数据分类,并对属于同一种数据流的数据按时间戳递增排列;每个缓冲区中有数据到来时,将其出列,并插入到对应的已排序队列中,直到缓冲区队列的顶端为标记信息。
6.根据权利要求1或4所述的移动感知复杂事件并行处理方法,其特征在于,所述数据提交:对于同一种数据流,若其所有缓冲区队列中均只剩标记信息,则说明其当前范围数据的排序已结束,将排好序后的队列提交至operator的处理模块进行处理,并发送信号给各缓冲区对应的operator或数据源,允许其继续发送数据。
7.根据权利要求1所述的移动感知复杂事件并行处理方法,其特征在于:
步骤3.1的数据处理,使用operator处理模块中预先定义的功能函数对提交的数据进行处理,并将处理结果以数据流的形式向后续operator输出;
步骤3.2的范围处理结束信号发送,当operator处理完毕当前范围的数据后,向其所有缓冲区发送信号,允许缓冲区继续发送数据。
8.一种移动感知复杂事件并行处理系统,包括operator graph,其特征在于:operatorgraph包括多个operator,operator间由数据流相连;operator包括多个副本,每个副本包括输入缓冲区、输出缓冲区和处理模块;
副本收集前续operator中的副本通过数据流传输的数据,这些数据以一个查询范围为批次进行传输;副本处理这些数据并生成新的数据,而后对产生的数据进行数据映射;副本还包括标记信息广播模块,在当前查询范围数据发送完毕后,在数据流中向后续operator发送一个标记信息,对所有数据流进行分割;
后续operator的每个副本在输入缓冲区内缓存前续operator中的副本发送来的数据,并按时间戳递增进行排序,然后将排好序的数据提交给其处理模块,处理模块对提交的数据进行处理;处理模块在其所有输入缓冲区中读取到标记信息后,向其所有对应不同后续operator副本的输出缓冲区中发送标记信息,并发送信号给缓冲区对应的前续operator副本,允许其继续发送数据;直至operator graph中最后续的operator的副本处理,生成复杂事件。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于南京大学,未经南京大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710240188.0/1.html,转载请声明来源钻瓜专利网。
- 上一篇:医疗配件上料装置
- 下一篇:供需信息互联方法及系统