[发明专利]一种基于树结构的语言库压缩方法和系统

说明书

技术领域

本发明涉及数据压缩方法和系统，特别是一种基于树结构的语言库压缩方法和系统。

背景技术

树结构在载体上的实现有赖于一般树与二叉树的等价转换和在存储器中按深度搜索存放树节点。前者被用来设定节点的数据结构而后者对该结构优化并使之走向实际应用。例如从词汇add，adding，added，adds组成的一般树转换为二叉树可得出节点的数据结构。从一般树(图1)到对应的二叉树(图2)可得节点的数据结构为：<KP><BP><EOW><L>。将该二叉树按深度搜索存放(图3)，可优化节点数据结构为：<K><B><EOW><L>，省去了指针开销。但从某节点到其兄弟节点要越过该节点的所有子辈节点，比如从节点(i)到兄弟节点(e)要经过(i)所有子辈节点(n)，(g)。当然也可以从词库直接生成二叉树。由于语言库树结构的深度与该库中最长的词汇有关而宽度与词库中词的总量有关，因此语言库树结构的特点是深度有限宽度很大。随着词汇量的加大更是如此。最后，在载体上引擎实现的方法是用一些数组或向量当作堆栈作为工作平台，从树的指定地点进入，按深度优先搜索扫描树节点，存入匹配的节点或指针信息入栈并找出满足指定条件的字或词汇。

定义：

<K>是子辈节点标志位，意为Kid；

<B>是兄弟节点标志位，意为Brother；

<EOW>是词标志位，意为End of Word；

<L>是字母，意为Letter；

<ST>是子树标志位，意为Sub Tree；

<pK>是子辈指针标志位；

<pB>是兄弟指针标志位；

[]表示该括号里的内容不出现或最多出现1次；

{}表示该括号里的内容不出现或出现多次；

<Pointer>＝{<1，×××××××>，}<0，×××××××>，是由1个或多个字节组成的指针定义。<0/1，×××××××>表示字节(Byte)，×表示二进制位(bit)。其中当首位为1时表示后面的字节仍为该指针部分，直到最后一个字节首位为0时为止；所有的×组成了该指针值。

<KP>是子辈节点指针；<Pointer>结构。

<BP>是兄弟节点指针；<Pointer>结构。

现有的基于树结构的DAWG压缩法被Zi Corp应用在其文本输入法产品eZiText上。其节点数据结构是<K><B><EOW><L><pK>[<KP>]<pB>[<BP>]。其基本生成原理为从树的底层叶子节点或从叶子节点的父节点开始从左到右，从下到上逐步归约：寻找子树范例(first sub tree)，然后将其后发现的同类去掉其所有节点并用指针指向该范例，从而达到数据库压缩的目的。

通过如下(表1)一组词汇举例说明有向无环图压缩法(DAWG)的压缩过程：