[发明专利]数据还原方法及装置有效
申请号: | 201310219030.7 | 申请日: | 2013-06-04 |
公开(公告)号: | CN104216916B | 公开(公告)日: | 2018-07-03 |
发明(设计)人: | 金成美 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 广州三环专利商标代理有限公司 44202 | 代理人: | 贾允;肖丁 |
地址: | 518044 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 填补 关系矩阵 冲突避免 关系元素 数据还原 决策表 数据冲突 数据构建 条件属性 构建 记录 填充 还原 搜索 | ||
本发明实施例提出一种数据还原方法及装置,其方法包括:根据待还原的数据构建决策表;根据决策表构建表示任意两个对象之间差别关系的关系矩阵;搜索关系矩阵,逐一获取关系矩阵中与每个待填补对象对应的差别关系元素;根据获取的差别关系元素,逐一判断待填补对象与其它各个对象之间的差别关系是否满足冲突避免条件;将所有不满足冲突避免条件的对象中,与相应待填补对象的缺失属性值同属于一个条件属性的属性值作为填补值进行记录;根据记录的填补值对缺失的属性值进行填充。本发明实施例的装置利用对象之间的差别关系来对缺失属性进行填补,大大降低了计算的复杂性,且可以有效避免由于填补而产生的数据冲突。
技术领域
本发明涉及计算机技术领域,特别涉及一种数据还原方法及装置。
背景技术
随着技术的发展与科学的进步,数据量的飞速增长已成为一个不容忽视的问题,面对堆积如山的数据,想要获取有用的信息与知识并非易事。因此数据挖掘技术伴随着人们的需求与科技的进步获得快速发展。然而在实际应用时,缺失数据的出现对所有数据分析技术包括数据挖掘都是一个普遍存在却富有挑战性的问题。
缺失数据的产生在实际中是经常发生的,甚至是不可避免的。造成数据缺失的可能是信息暂时无法获取或者在操作过程中被遗漏等。目前,很多解决数据缺失问题的方法大都采用的是简单填补法(simple imputation),其是用一个可行的,估计的值(例如均值或者用其它方法得到的一个估计值)对缺失数据进行一遍填充。其优点是速度快,但是这种方法低估了变量之间的关联关系,会扭曲样本的分布,不能反映缺失值的不确定性。
多重填补法(Multiple Imputation,MI)与简单填补法的区别在于,多重填补法对每一个缺失值用一个可能值的集合进行填补、重复多次,所以叫多重填补,以反映缺失值的不确定性,从而产生若干个完整数据集。然后,用针对完整数据集的统计方法对每一个填补数据集分别进行统计分析,把得到的结果进行综合,进而产生最终的统计推断。但是,多重填补法的处理过程比较复杂,并不适用于轻量级数据分析。
因此,目前需要一种数据还原技术,既可以考虑变量之间的关联关系,又可以适用于轻量级的数据分析。
发明内容
本发明实施例的目的是提供一种数据还原方法及装置,以解决现有的数据还原技术错误率高或者处理过程过于复杂的问题。
本发明实施例提出一种数据还原方法,包括:
根据待还原的数据构建决策表,所述决策表包括对象集、条件属性集及决策属性集;
根据决策表构建表示任意两个对象之间差别关系的关系矩阵,所述关系矩阵中包括多个表示两个对象之间差别关系的差别关系元素;
搜索关系矩阵,逐一获取关系矩阵中与每个待填补对象对应的差别关系元素;
根据获取的差别关系元素,逐一判断待填补对象与其它各个对象之间的差别关系是否满足冲突避免条件,所述冲突避免条件包括决策属性不同且除去缺失属性之外的其它所有条件属性值均相同;
将所有不满足冲突避免条件的对象中,与相应待填补对象的缺失属性值同属于一个条件属性的属性值作为填补值进行记录;
根据记录的填补值对缺失的属性值进行填充。
本发明实施例提出还一种数据还原装置,包括:
决策表构建单元,用于根据待还原的数据构建决策表,所述决策表包括对象集、条件属性集及决策属性集;
关系矩阵构建单元,用于根据决策表构建表示任意两个对象之间差别关系的关系矩阵,所述关系矩阵中包括多个表示两个对象之间差别关系的差别关系元素;
差别关系元素获取单元,用于搜索关系矩阵,逐一获取关系矩阵中与每个待填补对象对应的差别关系元素;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201310219030.7/2.html,转载请声明来源钻瓜专利网。
- 上一篇:基于内外灰尘监控与远程控制的纺织车间除尘系统
- 下一篇:大容量数据传输