[发明专利]具有领域定制功能的术语译文挖掘系统及方法

说明书

本发明提供一种具有领域定制功能的术语译文挖掘系统及方法，包括学习训练单元和术语译文挖掘单元，学习训练单元：包括输入子单元和训练子单元，输入子单元：输入领域种子用以输入用户指定领域的小规模汉英关键词翻译列表，用以作为学习训练的种子；训练子单元：从互联网获取用户指定领域的双语网页资源并得到该领域的双语翻译对；术语译文挖掘单元：采用自反馈、增量式的领域术语翻译自动获取方法，根据接收到的领域术语关键词得到对应的译文并输出；该系统及方法充分利用互联网上的跨语言资源，实现领域定制的术语译文挖掘，为跨语言的自然语言处理任务提供重要的技术和资源支持。

技术领域

本发明涉及一种具有领域定制功能的术语译文挖掘系统及方法，属于专利术语自然语言处理领域，特别是WEB信息挖掘和抽取领域。

背景技术

近几年来，基于Web的翻译资源获取研究开始引起研究者的关注。国内在这方面也有报道，如上海交通大学研究了基于Web的多语翻译词典获取方法；富士通中国研究院研究了基于Web的术语翻译的获取方法；赛迪集团推出的新一代英汉双向翻译系统中也采用了Web词典技术，等等。

总结前人的研究成果，发现大多的术语抽取研究只是对指定领域的单语语料采用多种方法努力提高术语抽取的精确率和召回率。这无法获知真实领域文本的特点和面向应用的术语抽取应该注意的问题和解决方案。在双语术语获取方面，目前还不能实现领域定制的双语术语的挖掘。所谓领域定制，就是根据用户提出的研究领域，自动分析网页文本的领域相关性，可以抽取不同领域的双语术语译文资源。对于这些方面的深入研究无疑对基于Web的双语资源自动获取研究的实际应用具有重要价值。

发明内容

本发明旨在提供一种具有领域定制功能的术语译文挖掘系统及方法，解决现有技术只是对指定领域的单语语料进行术语抽取的缺陷,进而实现根据输入的领域种子，通过搜索引擎自动获取相关领域的双语语料，并在线挖掘术语译文的目的。本发明实现的系统和方法能自动分析和获取英汉双语领域文本，进行在线的术语译文挖掘，如果输入的是英文就挖掘英文译文，如果输入的是汉语就挖掘汉语的译文。

本发明的技术解决方案是：

一种具有领域定制功能的术语译文挖掘系统，包括学习训练单元和术语译文挖掘单元，

学习训练单元：包括输入子单元和训练子单元，

输入子单元：输入领域种子用以输入用户指定领域的小规模汉英关键词翻译列表，用以作为学习训练的种子；

训练子单元：从互联网获取用户指定领域的双语网页资源并得到该领域的双语翻译对；

术语译文挖掘单元：采用自反馈、增量式的领域术语翻译自动获取方法，根据接收到的领域术语关键词得到对应的译文并输出。

进一步地，训练子单元包括双语网站和网页识别模块、双语资源噪声过滤模块、双语网页领域相似度计算模块、翻译句对抽取模块，

双语网站和网页识别模块：采用基于关键词的领域定制模型，首先输入一个特定领域的汉英关键词翻译列表，利用通用搜索引擎建立相关站点集，再利用采集器对每个站点及其相关链接进行扩展查找，形成原始的特定领域的双语网页集，使用向量空间模型对原始双语网页集进行初步过滤形成候选双语网页；

双语资源噪声过滤模块：基于机器翻译特征进一步过滤获取的双语噪声对；

双语网页领域相似度计算模块：计算候选双语网页的领域相似程度，将候选双语网页分成平行网页、可比网页，同时过滤掉不相关的候选网页；

翻译句对抽取模块：利用获取的平行网页和可比网页进一步抽取出双语翻译对，形成对齐的双语文本。

进一步地，术语译文挖掘单元包括自动获取翻译候选单元模块和选择最终译文模块，