[发明专利]一种基于单词查找树实现的汉语拼音快速分词方法

说明书

技术领域

本发明属于计算机或各种手持嵌入式可移动设备汉语信息处理技术领域，特别涉及一种基于单词查找树实现的汉语拼音快速分词方法。

背景技术

从一串连续的汉语拼音中，通过计算机软件算法自动识别出每个单字拼音，是拼音输入法和搜索引擎（根据拼音型关键字再联想汉语语句）必须要使用的技术。将现存的所有汉语单字拼音作为关键字，建立一个哈希表，分词时通过从建立的哈希表中多次查找和匹配，可以实现将一串连续的汉语拼音进行分词，但此方法存在效率不高的问题。

为提高效率，现有技术中对上述哈希表做出如下改良：以汉语单字拼音的首字母作为关键字，建立一个哈希表，哈希表每个元素都是一个单向链表，链表中存储着以哈希表关键字字母为开头的所有单字拼音。这样经过改良后，每次查找时，先根据首字母从哈希表中快速得到一个单向链表的首节点指针，然后再遍历单向链表，做出最终匹配。使用经过改良的哈希表已经提高了分词效率，但在处理多义词，诸如“xian”“piao”时，依然会存在需要特殊处理的问题，比如检索到“xi”后，一种方案是立即将“xi”从字串中移除，接下来继续检索“an”，但这样拼音“xian”就丢失了；第二种方案是在字串中保留“xi”，继续检索以字母x开头的拼音，直至找到单向链表的末尾，然后再移除“xi”，最后再继续检索“an”，这样就可以找到所有可能的拼音方案“xi”“an”“xian”，但这种方案查找效率比较低下。

中国专利（专利号：200710118921），一种电话号码映射域名服务器的内存处理方法及装置，这项专利虽然提到了查找树和哈希表，但是这项专利只是使用了查找树和哈希表存储和查找的基本功能，并没有经过任何的改良，也没有任何的延伸和改进；而且在使用的用途上也存在根本不同，此专利只是在查找树和哈希表的节点上存储了数据，只是单纯通过查找树和哈希表找到存储的数据的功能，而本发明主要实现的是通过查找树和哈希表的一种变种的结合完成汉语拼音快速分词，这项专利是查找存储的数据，本发明是完成汉语拼音的快速分词，两个文件在使用方式和用途上存在本质的区别。

中国专利（专利号：200810129141.8），调整候选词顺序的方法和装置，这项专利虽然提到了查找树和哈希表，但是此专利中的检索树只是用到了查找树或者哈希树中的一种，并没有如本发明中一样把查找树和哈希表结合起来使用，在本发明中两者紧密结合，缺一不可；而且用途也不一样，此专利调整候选词顺序的方法和装置只是利用查找树或者哈希表进行存储，判断存储的拼音串是否为标准全拼，使用查找树或者哈希树并不是用作分词的功能，而本发明使用查找树和哈希树的变种的结合完成拼音的快速分词，最终形成拼音串。

中国专利（专利号：200910107961.1），一种快速分词的实现方法，这项专利虽然也是一种分词的方法，但是此专利查找树是由一级索引表和HASH多叉树实现的，此专利的不足是：在处理多义词时，容易造成丟词的情况；如果不想出现丟词的情况，就需要采取降低查找效率的方法解决，虽然保证了查找结果的正确性，但是最直接后果就是造成了查找效率比较低下的问题。

上述方案中的单向链表虽然有诸如内存中易维护、插入删除简单等优点，但存在查询性能低下、查找效率低或丟词的缺点。

发明内容

本发明的目的就是为了解决上述问题，提供一种基于单词查找树实现的汉语拼音快速分词方法，将查找树与哈希表结合，使用哈希树的一种变种来完成对汉语拼音的快速分词，此种分词方式既避免了查询性能低下、效率低、丟词的问题，又提高了查找效率，实现了快速分词。

为了实现上述目的，本发明采用如下技术方案：

一种基于单词查找树实现的汉语拼音快速分词方法，该方法通过计算机或者嵌入式可移动设备来实现，主要工作步骤如下：

步骤一、根据所有已知的汉语单字拼音表建立汉语单字拼音查找树；

步骤二、依据已建立的单词查找树，将查找树与哈希表结合，对给定的一串汉语拼音进行分词；

步骤三、给出分词结果；

步骤四、销毁查找树，释放资源。

所述步骤一中，根据所有已知的汉语单字拼音表建立单字拼音查找树，主要包含以下步骤：

（1）根节点不包含字符，除根节点外每一个节点都只包含一个字符；

（2）每个节点的所有子节点包含的字符都不相同；

（3）除叶子节点外，每个节点都有一个长度为26的哈希表，哈希表以26个英文字母的升序为索引，每个元素分别存储一个子节点，且子节点实际个数小于或等于26；