[发明专利]一种面向同构对称发布及订阅系统的Top-k查询方法

说明书

技术领域

本发明属于数据库管理技术领域，尤其涉及一种面向同构对称发布及订阅系统的Top-k查询方法。

背景技术

在同构对称发布/订阅(HSPub/Sub)应用中，匹配除了包括一对一交换以外，还包括发生在两个以上的订阅之间通过传递关系形成的环匹配。对发布订阅系统来说，可以成功交换的物品数目越多，系统和用户的收益更大。同两两匹配相比，环匹配可以实现让更多的用户参与，增大成功交换的概率。在大型的HSPub/Sub中，候选匹配极有可能是海量的，用户需要从海量候选匹配中选择出一些用户偏好的匹配。

发布/订阅系统是一种使分布式系统中的各个参与者，以发布/订阅的方式进行交互式通信的中间件系统。在发布/订阅系统中，信息的生产者和消费者所交互的信息称为事件。生产者将事件发送到发布/订阅系统的中间件系统；消费者则向发布/订阅系统的中间件系统发出一个订阅条件，来表示消费者对系统中感兴趣的事件，如果不再感兴趣，可以取消订阅；而发布/订阅系统的中间件系统则支持将生产者发布的事件及时、可靠地传送给所有对之感兴趣的消费者。信息的生产者称为发布者(Publisher)，信息的消费者称为订阅者(Subscriber)，发布者和订阅者都称作客户端。匹配算法或过滤算法负责高效地找到与给定的事件相匹配的所有的订阅；而路由算法则负责选择一条适当的路径，将一个事件从发布者传送给订阅者。

随着数据采集技术的提高和网络的迅猛发展，HsPub/Sub返回给用户的数据量越来越大甚至是海量的。如何从海量数据中筛选出满足用户查询条件的数据成为数据管理和信息检索的重点研究和探索对象。为避免最终返回海量查询结果，在大数据量的查询应用Top-k查询处理势在必行。

如果一个数据对象有多个属性，系统在数据对象存储时依据属性对象排序而且生成不同的属性列，在查询时，系统要把列表聚合起来以获取到数据对象全部属性分值并且排序完成。将分散在多个列表中的分值聚合形成全局分值并且查询出全局分值最优的k个对象的过程，就是Top-k查询过程。

Skyline查询问题也是一种传统的多目标优化问题。一个多维数据集的Skyline指的是该数据集上不被其它数据点所支配的点所组成的集合。Skyline查询返回一组在任意维度上都不被其它对象所控制的对象，支持用户在复杂的情况下进行决策，如多标准决策支持系统、用户偏好查询等。

2006年，Chee-Yong Chan等人提出基于Skyline Frequency的Top-kSkyline查询，只是查询一个点在不同子空间中成为Skyline点的次数，Top-k返回Skyline最频繁的k个点。为了计算出有点表性的Skyline点，Chee-YongChan等人提出了Distance-based Representative Skyline概念，很好地把与周围其他的Skyline点的距离考虑进来，也证明了这问题也是NP难问题。

2007年Xuemin Lin等人提出了Representative Skyline概念，并且证明在维数不低于3的空间中，Representative Skyline查询是NP难问题。同时还提出了两种算法，分别是Greedy和FM-based。这两种算法都是从数据点集合中返回k个数据点，这k个数据点是控制非Skyline点点数量最大的k个点，也被认为是最具有代表性的Skyline点。Representative Skyline在实践中有时候不具有代表性，尤其是数据分布有明显的块聚集性，这时返回的Skyline点就不能很好的代表每个块中全部点的信息。

实践证明，数据集中的对象越多，Skyline结果数据量也会相应增多，尤其是在高维数据环境下，这种情况的话对用户的决策支持中意义不大。本发明提出将Top-k引入到Skyline查询中，利用引入的评价准则，只返回最优的k个Skyline点给用户，来简化用户的筛选过程。

随着互联网络技术发展，同构对称发布/订阅系统的应用也越来越普及。由于在同构对称发布/订阅系统中，产生的候选环匹配结果集很大，特别是在大型的HSPub/Sub中，订阅的数量更大的话，候选匹配可能是海量的。大的数据量阻碍了用户对它的有效利用，显然如果仅仅是人为的去筛选用户偏好的数据，是相当低效而且不现实的。如何快速、高效的为用户推荐k个最优的候选环匹配是同构对称发布/订阅系统中研究的关键问题之一。在同构对称发布/订阅系统的不同应用中，有时匹配结果可以调用打分函数为其打分，依据分值排序求出前k个最优的。有时无法调用打分函数打分，不能对其排序，无法求出k个最优的。