[发明专利]基于倒排索引的大规模数据相似特征检测方法

摘要

本发明公开了一种基于倒排索引的大规模数据相似特征检测方法。本发明通过对相应类型的特征数据列进行采样并提取对应的倒排索引，再将倒排索引和特征以键值对的形式建立哈希表，产生候选特征子集，从而达到了特征集合降维的目的；再对降维之后的特征子集中的特征进行两两组合，针对数值型特征和类别性特征，分别应用皮尔森相关系数算法和非重复计数法，得出特征对的相关系数，设定阈值，输出结果。该方法解决了以往需要对原始特征集合做两两组合的弊端，可以将计算时间降低一个数量级，节省大量的资源；同时准确率和召回率也能保持一个极高的水平。