[发明专利]以多重评分函数为基础的语言处理系统

说明书

本发明一般适用于自然语言处理领域，具体可应用在自动处理语言材料的系统上，如机器翻译系统及语言辨认系统等。

全自动化的自然语言辨认系统及翻译系统有很多实际的应用，众所周知的例子有语音辨认及机器翻译等。例如，语音辨认是处理口语输入的自动化程序，这种程序可让使用者免于使用费力的输入装置(如键盘)而能与机器(如电脑)直接交谈。

本发明特别涉及在机器翻译上的使用。所谓机器翻译(machinetranslation，简称MT)是将一种原始自然语言(source language)翻译成另一种目标语言(target language)的自动化流程，例如，将英翻译成中文。机器翻译有其重要的全球性应用，例如，为了进行全球性的国际贸易，跨国公司必须收集及处理大量的资料；而这些资料大半都是用外国语言所撰写的。同时，这些跨国公司也必须与海外的公司、客户、政府机关联系，而人工翻译通常是非常昂贵和费时的，因此，任何自动化的流程，都是人们热切期待的。

在进行自然语言自动翻译的过程中，系统所要处理的信息不仅在数量上极为庞大，而且信息的内涵也有高度的模糊性(ambiguity)及不确定性(uncertainty)。一个词汇在文章中的真实意义通常只有透过上下文才能显现出来。例如，“fruit flies like a banana”一句中的“flies”和“time flies like an arrow”中的“flies”有截然不同的意义；前者代表一个名词，而后者则代表一个动词。因此，单独检视“flies”这个词的时候，并不能清楚了解其真实含义，因为该词是模糊的。故系统在翻译一段文章的时候，必须解决上述及其它各种可能的模糊现象。亦即由所有可能的分析中，找出最佳的分析；由检视上下文来决定各字词的含义。即使只是一段普通长短的文章，这个过程也可能需要相当程度的处理时间及处理成本。

为了改善机器翻译的速度及品质，一般可采取数种方法。例如，将翻译系统不断地移植到较高速的电脑系统，以便获取更高的计算能力。此外，便是专注于改善翻译过程中的处理方法。例如，人工智能中的自然语言处理技巧，即被广泛应用在包括机器翻译在内的语言处理系统上，以改善翻译的品质。以下将对自然语言处理的一般方法及步骤，包括输入、词汇分析、语法剖析、翻译及输出等提出较详细的说明。

就MT系统的整体效果及品质而言，快速而正确的文法剖析具有极关键的地位。一般而言，所谓文法剖析是指将每一个要翻译的句子剖析或分解成较简单的语言处理单位。例如，在一个简单语法剖析结构中，句中的每个词之间的文法关联性可由一个称为语法树(syntax tree)的树状图形表达出来；每一个词所处的地位是由它的词类(part of speech，lexical category)和它与句中其他词的关系来决定。为了能快速而正确地剖析文句，从而得到适当的翻译，系统应能快速而正确地找出具有最佳语意解释的语法树及输出分析(这里所指的最佳解释，严格说是指具有统计意义的最佳解释)。

利用增进剖析过程来改善MT的速度及品质是众所周知的手段。本发明所关注的，则是一种称为“评分式削除法”(scored truncation)剖析技术。这种技术主要是利用机率统计的技术，给予各种不同的分析以不同的评分，进而消除或放弃不太可能的分析结果。由于所需要搜寻的空间缩小，使得剖析时间也相对缩短。然而，在一个“评分式消除除法”的系统结构中，系统成效及品质与所用的评分方法，包括评分依据及搜寻策略，有着非常密切的关系。

一般而言，可以依据所用文法规则(即一套表明语法及语意结构的规则)的使用频率，对不同分析给予不同的分数。更具体说，语法规则使用的频率可以在分析过程中用来决定最好的语法分析。目前广为人知的语法理论主要来自几个学派，包括一般化词组结构语法(GeneralizedPhrase Structure Grammar，GPSG)，及辞汇功能语法(Lexical-Functional Grammar，LFG)等；可参考Peter Sells教授的Lectureson Contemporary Syntactic Theories：An Introduction toGovermment-Binding Theory，Generalized Phrase Struture Grammarand Lexical-Functional Grammar(1985)一书(“现代语法理论演讲集：管束理论、一般化语组结构语法及辞汇功能语法简介”)。