[发明专利]一种基于双数组字典树进行术语匹配的方法

说明书

一种基于双数组字典树进行术语匹配的方法,其特征是包括建索引的步骤，及用索引进行术语查询匹配的步骤；其中，所述建索引的步骤如下：生成双数组字典树的定位，计算内存缓存系统的二级索引的ID，对术语建索引，所述用索引进行术语查询匹配的步骤如下：生成双数组字典树的定位，分词，基于索引进行术语匹配。既可以满足术语匹配的多种查询需求，又提高了整体匹配的性能。

技术领域

本发明属于计算机通信领域，尤其涉及一种基于双数组字典树进行术语匹配的方法。

背景技术

当前计算机辅助翻译是提高翻译一致性和效率的重要手段，它要求软件能够不断地记忆最新的术语及语料，并且在后续的翻译流程中能够及时地调出满足相应条件的术语或语料以供选择。随着术语和语料规模的不断扩大，基于传统的关系型数据库或是目前较新的非关系型数据库来直接根据原文或译文检索出完整的翻译信息都是会有明显的效率下降的，当处理比较大的待译稿时，速度自然不能接受。以mongo数据库为例，每一个文档记录都包含文档ID，原文，译文以及其他辅助信息，有些原文或译文比较长，就不适合作为索引字段，而文档ID是mongo的默认全局唯一16进制索引字段，基于文档ID的查询会非常快。基于此，我们可以实现一种外围索引，将原文或译文通过该索引与文档ID对应起来，要求外围索引支持可存储的任意长度的原文或译文，并且要足够高效。

结合双数组字典树算法，辅以redis缓存和适当的数据结构设计，我们可以构建出这样一套满足需求的索引及匹配系统。传统的直接基于数据库查询某个字段会比较慢，建了索引的情况下速度会快一些，但是有的字段比较长就不适合建索引，即使建了数据库索引对于较长的字段来说，查询速度可能依然偏慢。而不管任何数据，只要基于数据库主键来查当前记录，速度都是比较快的，因此实现一种对术语快速建索引的机制，并且将该索引与数据库主键对应的字段相关联，就可以获得比较好的查询性能。此外翻译行业的术语匹配不仅仅是查出给定的术语，还需要支持前缀查询，精确查询，还有基于句子的分词查询，而双数组字典树可以实现这些功能。将一种高效的双数组字典树实现算法引入，再将数据库主键的值与双数组里每一个术语的位置信息对应起来作为辅助信息存放于缓存系统，既可以满足术语匹配的多种查询需求，又提高了整体匹配的性能，对于翻译自动化来说可以带来较好的用户体验。

发明内容

本发明所要解决的技术问题是目前基于数据库的术语匹配引擎在查词效率上速度偏慢，而改善这一问题的办法就是对数据库里的术语建一个快速索引，引入双数组字典树可以解决大量术语建索引慢以及查询慢的问题。

为解决上述技术问题，本发明提供了一种基于双数组字典树进行术语匹配的方法，其特征是包括建索引的步骤，及用索引进行术语查询匹配的步骤；

(1)生成双数组字典树的定位

根据指定的双数组字典树的数目，用哈希算法，对插入术语计算哈希值，然后对双数组字典树的数目取模，计算得出双数组字典树的位置编号，用以实现双数组字典树的定位；

（2）计算内存缓存系统的二级索引的ID

从mongo数据库里读出术语，将术语插入双数组字典树，返回术语在双数组字典树的pos值， 将所述双数组字典树的位置编号，乘以1000万，加上所述pos值，再配合程序设定的前缀字串，得出内存缓存系统里的二级索引的ID；

(2)对术语建索引

根据二级索引的ID查询出插入术语在数据库里对应的数据记录的术语库ID和对象ID，用术语库ID和对象ID构造键值，形成二级索引的ID和键值的映射关系，存放于内存缓冲系统；

所述基于双数组字典树索引进行术语匹配的步骤包括：

(1)生成双数组字典树的定位

(2)分词