[发明专利]TRIE树双数组的全局优化构造方法及系统

说明书

技术领域

本发明涉及TRIE树双数组的构造，更具体地涉及TRIE树双数组的全局优化构造方法和系统。

背景技术

TRIE树是词典、大规模关键字的一种重要索引结构，在自然语言处理、信息检索、电子词典管理等领域有着广泛应用，其查找效率很高。在TRIE树中查找一个关键字的时间与关键字自身组成、自身长度以及树的深度都有关，其最快速度为O(1)，最差为TRIE树的层数。虽然TRIE树查找效率高，但由于在多数情况下TRIE树的分支较少(甚至为1)，造成了存储空间的巨大浪费。一些研究者依据Johnson提出的确定性有限自动机可用四元组表示这一理论，将TRIE树用三元组来表示，提高了TRIE树的存储效率。之后，Aoel提出了将TRIE树用双数组来表示，这样既能进一步提高存储效率，又能保证查询效率。TRIE双数组结构由两个整型数组组成，如图1所示，其中一个为base数组，一个为check数组，二者中的元素一一对应。Base数组中的每一个元素相当于TRIE树中的一个结点，存储转移到其子结点的基值，check数组用于检查该子结点对应的父结点是哪一个结点，用于判断状态转移的正确性。在双数组中，从父结点s转移到子结点t，须满足如下约束条件：

Base[s]+c＝t；

Check[t]＝s，其中c为输入变量。

TRIE树双数组的构造主要采用反复探测的方法，即：对一个结点S要向子节点转移的过程中，如果存在B₁，B₂，...，B_n种转移，则需要求取k使得base[k+c₁]，base[k+c₂]，...，base[k+c_n]空间均未被占用，这时设结点S对应的base[i]＝k；

同时，check[k+c₁]＝check[k+c₂]＝...＝check[k+c_n]＝i。

其中c₁，c₂，...，c_n为B₁，B₂，...，B_n的对应值。这样，把k称之为转移基值，c₁，c₂，...，c_n称为转移步长，i则为结点位置。

双数组结构与算法有效的降低了TRIE存储结构的空间浪费，但是利用此方法仍然存在很大的数据稀疏问题。相关技术中提出了在构造数组中加入一种优化排序策略，即在某个局部范围内优先处理分支较多的结点，此方法进一步改善了双数组的数据稀疏问题，但是由于这种优化策略是一种局部优化策略，多数情况下不一定能实现非常好的优化效果。而且，在上述方法中每个结点的子节点逐一探测，增加了构造时间。

发明内容

为了解决上述技术问题，本发明提供了一种TRIE树双数组的全局优化构造方法，包括如下步骤：步骤1：用二进制位串来表示TRIE树结构中的每个结点，其中每个所述二进制位串中从左到右的每一位都一一对应每个结点中的每一个子结点，1表示含有子结点，0表示不含子结点，然后将每个所述二进制位串右移，直到第0位为1，并分别记录移位后的二进制表示和移位位数；步骤2：将TRIE树中的所有结点按照结点的二进制表示映射到相应的类；步骤3：确定TRIE树中各个结点在双数组中存放的先后顺序，并记录每个结点在双数组中的转移基值；以及步骤4：依据存储在每个结点中的所述转移基值、TRIE树中各个结点间的父子关系、以及每个子结点所对应的转移步长，设置check和base数组。

根据本发明的一个实施例，在所述步骤2中，对于每个结点的移位后二进制表示，如果存在一个k，使得第k位及其右侧的所有比特位都为1，而第k位左侧的比特位均为0，则令其属于class 1类，否则属于class 2类。对于Class 1中的每个结点，按照其二进制位串中比特位为1的个数进行继续分类，此时最大分类数为M，其中M为词典中构成词的基本元素数。对于class2中的每个结点，将其二进制位串右移一位后，从第0位开始取N位，依据其值分别映射到0～2^N-1个桶中，以将class 2中结点分为2^N个类。