[发明专利]数据查找方法和装置

说明书

本发明实施例公开了一种数据查找方法和装置。所述方法包括：将查找规则由布尔式规则转换为析取范式规则；将所述析取范式规则分解为多个简单合取式规则；将数据库中的数据与所述析取范式规则中各简单合取式规则进行比对，获取命中任一简单合取式规则中包括的全部对象的数据作为与所述查找规则对应的查找数据。本发明的技术方案解决了现有数据查找算法中，索引所需要的空间和时间的开销过大，以及规则表达式的布尔运算带来的查找效率低下等问题。

技术领域

本发明涉及数据处理领域，尤其涉及一种数据查找方法和装置。

背景技术

随着互联网，社交网络，电子商务等的迅猛发展，每天新增的数据量也迅速激增。对于海量数据，我们需要根据预设的规则，通过高速实时的比对，来筛选过滤海量的数据。

在传统的算法实现中，以规则的字段或条件的名称进行哈希储存，映射值不仅要存储字段或条件的取值，还需要存储表达式ID(Identification，身份标识号)及字段或条件在表达式中的位置。在筛选查找数据时，需要对海量数据中每个字段或条件在哈希表中查找，然后根据字段或条件的取值取得所有的表达式ID及位置，进行排序合并等，最后再根据位置进行布尔运算并根据布尔运算的结果确定数据是否命中。

图1为现有技术中传统数据查找的索引表的结构图。如图1所示，哈希表中每个字段有很多的映射值。映射值存储结构为三部分，字段的取值、对应的表达式ID及字段在表达式中的位置、以及指向下一个映射值的指针，指针使数据查找时能遍历字段所有的映射值。例如：当某个数据的取值为A＝23和B＝34的字段时，需要遍历整个A的映射值找到A＝23，遍历整个B的映射值找到B＝34。并且需要将A＝23和B＝34这两个字段各自所在的所有布尔表达式的ID及A、B两字段在表达式中的位置(如<100,1>和<100,2>等)进行合并，再根据位置进行布尔运算进行判断。例如，当数据A＝23和B＝34代入ID号为100的布尔表达式时表达式结果为True，即为该数据命中ID号为100的布尔表达式。

如上所述，在实现传统的数据查找中，需要记录规则中每个字段或条件的位置信息，增加了索引的时间及空间的开销，且索引和查找都比较复杂，需要先进行多级的查找，在查找完所有规则后，需要找到所有的线索号及位置信息，合并等复杂运算，在合并完成后，还需要进行布尔表达式的运算才能确定是否命中，综合这些因素，现有的算法对空间的消耗极其庞大，不能支持大量的规则，同时当预设的规则数到达一定数量后，查找的性能也变得极为低下。

综上，传统的数据查找算法的主要缺陷在于：索引所占用的空间过大对预设规则数量的限制，不能接受大量的规则，且多级查找占用时间较多，以及筛选过滤时的合并排序及规则表达式的布尔运算带来的查找效率的低下。

发明内容

有鉴于此，本发明实施例提供一种数据查找方法和装置，以解决现有数据查找算法中，索引所需要的空间和时间的开销过大，以及规则表达式的布尔运算带来的查找效率低下的问题。

第一方面，本发明实施例提供了一种数据查找方法，包括：

将查找规则由布尔式规则转换为析取范式规则；

将所述析取范式规则分解为多个简单合取式规则，其中，所述简单合取式规则中包括一个或以逻辑与运算符连接的多个对象，所述对象包括字段或条件；

将数据库中的数据与所述析取范式规则中各简单合取式规则进行比对，获取命中任一简单合取式规则中包括的全部对象的数据作为与所述查找规则对应的查找数据。

第二方面，本发明实施例提供了一种数据查找装置，包括：

规则转换模块，用于将查找规则由布尔式规则转换为析取范式规则；

规则分解模块，用于将所述析取范式规则分解为多个简单合取式规则，其中，所述简单合取式规则中包括一个或以逻辑与运算符连接的多个对象，所述对象包括字段或条件；