[发明专利]基于n-of-N流模型的不确定轮廓查询并行处理方法及系统

说明书

本发明公开了一种基于n‑of‑N流模型的不确定轮廓查询并行处理方法及系统，本发明针对大规模不确定数据流的高效n‑of‑N轮廓查询，将对全局滑动窗口中的数据元组查询处理的任务，按一定的任务映射规则划分为多个本地局部滑动窗口，并且将本地局部滑动窗口的查询处理任务分散交付给多个计算节点，所有计算节点对各自局部滑动窗口进行并行查询处理，当完成对所有数据元组处理后返回查询结果。本发明能够实现计算节点间的负载均衡、最大化并行效率、支持大规模计算节点数目的并行查询、实现高效的n‑of‑N查询并行处理。

技术领域

本发明涉及基于n-of-N流模型的轮廓查询并行处理技术，具体涉及一种基于n-of-N流模型的不确定轮廓查询并行处理方法及系统，适合于多目标决策制定、市场分析、数据挖掘、推荐系统、环境监控、计量经济学等应用领域。

背景技术

不确定流数据是指数值无法直接准确确定的一类流数据的总称，它存在于诸如基于位置的服务、无线射频识别(RFID)网络、商品交易网络、雷达监测系统等众多实际应用中，对不确定数据流进行高效复杂查询分析已成为当前大数据分析领域的重点研究方向，在现实生活中具有极其重要的意义。

轮廓查询(即Skyline查询)通常也被称为Pareto最优查询，其实质上是一个典型的多目标优化问题。轮廓查询是指从给定的一个d维空间的对象集合S中选择一个子集，该子集中的点均不能被S中的其他的点所支配，满足此条件的点称为SP(Skyline Point)。这里特别指出，对于两个拥有d维属性的数据元组P和Q，若元组P的每一维属性都不比Q差，则称P支配Q。Skyline查询作为解决多标准决策的一种有效方法，是不确定数据流上的一种重要查询操作，在诸如金融领域、传感器网络、Web事务日志分析和军事领域等众多现实应用中发挥着重要作用。目前不确定数据流查询研究主要采用滑动窗口模型，该模型主要关注于最近若干个数据对象上的查询。以基于计数的滑动窗口为例，通常查询主要关注于最近个元组的查询处理。然而，不同的用户可能同时对该数据流进行查询，且不同用户的查询需求往往不同，可能需要同时考察在不同滑动窗口范围内的Skyline查询结果。因此，为用户的Skyline查询提供高度的灵活性是必要的，在现实生活中具有重要的意义。

n-of-N流模型是一个能够在任意n(n＝N)个最近对象上进行查询操作的数据流模型，其中N表示包含最近N个对象的当前滑动窗口，n(n＝N)表示最近的n个对象(包含在有个对象的滑动窗口之内)。大小为N的滑动窗口只是n＝N时的一个特例。基于n-of-N流模型的不确定数据流轮廓查询可支持用户对于不同数据流滑动窗口范围的查询，能够极大地提高轮廓查询的灵活性和实用性。然而，现有的不确定数据流n-of-N轮廓查询方法主要面向集中式处理环境设计实现，无法满足大规模不确定数据流的实时查询处理需求，迫切需要研究一种基于n-of-N流模型的高效不确定轮廓查询并行处理方法。

发明内容

本发明要解决的技术问题：针对现有技术的上述问题，提供一种基于n-of-N流模型的不确定轮廓查询并行处理方法及系统，本发明能够实现计算节点间的负载均衡、最大化并行效率、支持大规模计算节点数目的并行查询、实现高效的n-of-N查询并行处理。

为了解决上述技术问题，本发明采用的技术方案为：

本发明提供一种基于n-of-N流模型的不确定轮廓查询并行处理方法，实施步骤包括：

1)初始化全局滑动窗口DS_N以及计算节点集合P中各个计算节点P_i对应的本地局部滑动窗口，判断是否有新的流数据元组到达，当有新的流数据元组到达时跳转执行步骤2)；