[发明专利]一种面向不确定数据的概率查询质量优化方法在审
申请号: | 201710039240.6 | 申请日: | 2017-01-19 |
公开(公告)号: | CN106897375A | 公开(公告)日: | 2017-06-27 |
发明(设计)人: | 高云君;苗晓晔;周琳琳;陈刚;郭素 | 申请(专利权)人: | 浙江大学 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 杭州求是专利事务所有限公司33200 | 代理人: | 邱启旺 |
地址: | 310058 浙江*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 面向 不确定 数据 概率 查询 质量 优化 方法 | ||
1.一种面向不确定数据的概率查询质量优化方法,其特征在于:该方法包括如下步骤:
步骤(1):给定概率查询φ(q,S),q是查询对象,S是不确定数据集,对于不确定数据集中结果对象集构建ASI索引;维护一个最大的查询结果质量及相应的清洗对象集合。
步骤(2):基于用户给定的清洗预算,通过剪枝策略在不确定数据集中找到候选的清洗对象集合,并将候选清洗对象集合放入清洗对象集合列表中。
步骤(3):对于步骤(2)中得到的清洗对象集合列表中的集合,计算其查询期望质量,并更新维护的最大查询结果质量及相应的清洗对象集合,利用期望质量单调性更新清洗对象集合列表。
步骤(4):重复步骤(3)直到清洗对象集合列表为空。
步骤(5):返回最终的最大查询结果质量及相应的清洗对象集合,对期望质量最大的清洗对象集合进行清洗,完成了概率查询的质量优化。
2.根据权利要求1所述的一种面向不确定数据的概率查询质量优化方法,其特征在于:所述构建ASI索引的具体步骤如下:
ASI索引是一个哈希表,以结果对象集R为键值,每个结果对象集存储其相应的结果元组集r;对每个r,存储概率值Pr(r),以及概率向量概率向量中每一项表示结果元组集r相对于数据对象o的关联概率P(o,r);
利用ASI索引能够直接计算出每个结果对象集的概率,使得计算查询期望质量时无需遍历所有可能世界。
3.根据权利要求1所述的一种面向不确定数据的概率查询质量优化方法,其特征在于:所述步骤(2)中通过剪枝策略在不确定数据集中找到候选清洗对象集合具体如下:如果不确定数据集中的对象成为结果对象的概率为0,那么对象能够被剪枝;反之,不确定数据集中的对象加入到候选清洗对象集合中。
4.根据权利要求1所述的一种面向不确定数据的概率查询质量优化方法,其特征在于:所述步骤(3)中计算其查询期望质量具体步骤如下:
给定对象集合Oc,针对每一个Oc清洗后可能变成的集合Tc,计算变成Tc的概率Pr(Tc),再计算出清洗成Tc后的对应的查询质量κ(φ|Tc),Oc的查询期望质量则利用公式计算得到;
所述步骤(3)中更新清洗对象集合列表采用如下三种清洗对象优选算法中的一种:
(3.1)B&B算法,算法步骤包括:
(3.1.1)清洗对象集合列表用堆实现,表示一棵分支界限树;
(3.1.2)弹出堆顶对象集合O,若该集合的清洗代价不大于给定预算值且未访问过,则计算其期望质量,并记录最大期望质量及对应对象集合;若该集合的清洗代价大于给定预算值,则将O的未被访问且未被剪枝的第i个子集Oi加入堆中且Oi满足|Oi|=|O|-1;
(3.1.3)若堆不为空,则返回步骤(3.1.2)执行,若堆为空,结果元组记录最大期望质量及对应对象集合,算法结束;
(3.2)Greedy算法采用贪心策略,每次选择候选对象集合中满足最大单位代价期望质量的对象,直至给定预算用完,返回最终的最大查询结果质量及相应的清洗对象集合;
(3.3)HSample算法采用抽样思想,算法步骤包括:
(3.3.1)从中抽样m个清洗对象集合,其中B是用户给定的清洗预算,avgC是已知的对象清洗代价平均值,是对象个数为的对象集合的并;
(3.3.2)对每个满足预算的样本对象集合计算期望质量,返回最终的最大查询结果质量及相应的清洗对象集合。
5.根据权利要求1所述的一种面向不确定数据的概率查询质量优化方法,其特征在于:所述步骤(5)中对期望质量最大的清洗对象集合进行清洗,可用清洗方法包括群智计算、基于规则的方法、机器学习方法等。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浙江大学,未经浙江大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710039240.6/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置