[发明专利]数据筛选方法、装置及电子设备

说明书

本发明涉及数据挖掘技术领域，具体涉及数据筛选方法、装置及电子设备，所述方法包括获取至少一个用户表达式，所述用户表达式包括用户词以及逻辑词；对用户表达式进行语法分析，建立用户表达式对应的树形数据结构；依次提取各个树形数据结构中的用户词，并将提取出的用户词与目标文档进行匹配，确定与目标文档匹配的第一目标表达式；根据第一目标表达式中的逻辑词，确定与目标文档匹配的第二目标表达式。先提取出各个用户表达式中的用户词，在目标文档中进行筛选，确定哪些用户词出现在目标文档中，以确定第一目标表达式，以减少后续的匹配数量；再基于逻辑词对第一目标表达式进行二次筛选，确定出与目标文档匹配的第二目标表达式，提高数据筛选效率。

技术领域

本发明涉及数据挖掘技术领域，具体涉及数据筛选方法、装置及电子设备。

背景技术

在数据订阅业务系统中，用户输入搜索表达式之后，往往希望系统能够自动推送出相关的数据。例如，用户输入搜索表达式为“北京 AND 天气”，这个表达式用来检索北京天气情况相关的文本。如果一个文档里面同时出现了“北京”和“天气”这两个词，则该文档匹配前述表达式。

现有技术中，一般是通过对用户输入的表达式进行分析，提取出关键词以及关键词的逻辑关系，然后再在文档中进行搜索。然而，当用户一次输入的表达式较多时，若依次针对每条表达式进行数据筛选，将会导致筛选效率较低。

发明内容

有鉴于此，本发明实施例提供了一种数据筛选方法、装置及电子设备，以解决数据筛选效率较低的问题。

根据第一方面，本发明实施例提供了一种数据筛选方法，包括：

获取至少一个用户表达式，所述用户表达式包括用户词以及逻辑词；

对所述用户表达式进行语法分析，建立所述用户表达式对应的树形数据结构；

依次提取各个所述树形数据结构中的用户词，并将提取出的所述用户词与目标文档进行匹配，确定与所述目标文档匹配的第一目标表达式，其中，各个所述第一目标表达式对应有唯一的标识；

根据所述第一目标表达式中的所述逻辑词，确定与所述目标文档匹配的第二目标表达式；

其中，所述对所述用户表达式进行语法分析，建立所述用户表达式对应的树形数据结构，包括：

对所述用户表达式进行语法分析，确定所述树形数据结构的根节点以及子节点；

遍历所述子节点，将至少两个连续且相同的或子节点的节点对象存储在最上面的或子节点中；

基于所述用户表达式，对各个所述子节点进行属性变量的设置，以得到所述树形数据结构，所述属性变量包括词距或词距的正负号中的至少一种。

本发明实施例提供的数据筛选方法，在用户输入至少一个用户表达式时，先提取出各个用户表达式中的用户词，在目标文档中进行筛选，确定哪些用户词出现在目标文档中，从而对用户表达式进行第一次筛选，得到第一目标表达式，以减少后续的匹配数量；再基于各个第一目标表达式中的逻辑词对第一目标表达式进行二次筛选，从而确定出与目标文档匹配的第二目标表达式；通过在目标文档的基础上针对用户词进行一次筛选可以减少数据处理量，提高数据筛选效率，从而可以满足同时对几千个用户设定的专题标签进行实时匹配处理，取得了良好的实时推送效果；进一步地，通过对用户表达式进行语法分析之后，得到用户表达式对应的树形数据结构，以便于提取出用户词，而不需要再针对用户表达式中的各个逻辑词再进行分析，提高了数据处理效率。

同时，通过将至少两个连续且相同的或（OR）子节点的节点对象存储在最上面的或子节点中，可以减小树形数据结构的数据量，降低后续遍历树形数据结构的次数，从而可以达到实时推送的目的。

可选地，所述依次提取各个所述树形数据结构中的用户词，并将提取出的所述用户词与所述目标文档进行匹配，确定与所述目标文档匹配的第一目标表达式，包括：