[发明专利]一种面向不确定数据的概率查询质量优化方法

说明书

技术领域

本发明涉及数据库查询处理技术，特别是一种面向不确定数据的概率查询质量优化方法。

背景技术

不确定数据的产生源于许多现实生活中的应用，如传感器输入噪声、无线传输错误、数据集成中数据错漏等。因此，在数据库领域中，不确定数据查询(如概率Skyline计算、概率k最近邻查询、概率Top-k查询等)处理已受到了广泛关注。

在不确定数据库中，一般概率查询返回的查询结果是结果概率非零的对象。而数据集的不确定性会传播给查询结果，所以用户很难得到预期精准无误的查询结果。低质量的查询结果也很难帮助用户进行正确决策，因此需要对数据集进行清洗以降低不确定性，从而提高查询结果的质量。

众所周知，数据清洗是提高质量的有效途径，但同时也是一个费时费力且代价高昂的过程，尤其在大数据环境下，想要清洗所有的不确定数据更是不切实际。目前针对不确定数据的建模和查询处理问题，国内外学者已经做出了一些工作，但这些工作还存在局限性：(1)查询算法中没有考虑用户资源有限的情况；(2)数据清洗算法中没有面向概率Skyline查询和概率k最近邻查询的有效算法。

发明内容

针对上述不足，本发明提供一种面向不确定数据的概率查询质量优化方法，以解决在用户资源有限的条件下，在清洗数据的同时，尽可能地提高查询质量。

本发明解决其技术问题采用技术方案的步骤如下：一种面向不确定数据的概率查询质量优化方法，该方法包括如下步骤：

步骤(1)：给定概率查询φ(q,S)，q是查询对象，S是不确定数据集，对于不确定数据集中结果对象集构建ASI索引；维护一个最大的查询结果质量及相应的清洗对象集合；

步骤(2)：基于用户给定的清洗预算，通过剪枝策略在不确定数据集中找到候选的清洗对象集合，并将候选清洗对象集合放入清洗对象集合列表中；

步骤(3)：对于步骤(2)中得到的清洗对象集合列表中的集合，计算其查询期望质量，并更新维护的最大查询结果质量及相应的清洗对象集合，利用期望质量单调性更新清洗对象集合列表；

步骤(4)：重复步骤(3)直到清洗对象集合列表为空；

步骤(5)：返回最终的最大查询结果质量及相应的清洗对象集合，对期望质量最大的清洗对象集合进行清洗，完成了概率查询的质量优化。

进一步的，所述构建ASI索引的具体步骤如下：

ASI索引是一个哈希表，以结果对象集R为键值，每个结果对象集存储其相应的结果元组集r；对每个r，存储概率值Pr(r)，以及概率向量概率向量中每一项表示结果元组集r相对于数据对象o的关联概率P(o,r)；

利用ASI索引能够直接计算出每个结果对象集的概率，使得计算查询期望质量时无需遍历所有可能世界。

进一步的，所述步骤(2)中通过剪枝策略在不确定数据集中找到候选清洗对象集合具体如下：如果不确定数据集中的对象成为结果对象的概率为0，那么对象能够被剪枝；反之，不确定数据集中的对象加入到候选清洗对象集合中。

进一步的，所述步骤(3)中计算其查询期望质量具体步骤如下：

给定对象集合O_c，针对每一个O_c清洗后可能变成的集合T_c，计算变成T_c的概率Pr(T_c)，再计算出清洗成T_c后的对应的查询质量κ(φ|T_c)，O_c的查询期望质量则利用公式计算得到；

所述步骤(3)中更新清洗对象集合列表采用如下三种清洗对象优选算法中的一种：

(3.1)B&B算法，算法步骤包括：

(3.1.1)清洗对象集合列表用堆实现，表示一棵分支界限树；

(3.1.2)弹出堆顶对象集合O，若该集合的清洗代价不大于给定预算值且未访问过，则

计算其期望质量，并记录最大期望质量及对应对象集合；若该集合的清洗代价大于给定

预算值，则将O的未被访问且未被剪枝的第i个子集O_i加入堆中且O_i满足|O_i|＝|O|-1；

(3.1.3)若堆不为空，则返回步骤(3.1.2)执行，若堆为空，结果元组记录最大期望质

量及对应对象集合，算法结束；