[发明专利]平行语料的对齐方法及装置

说明书

技术领域

本发明涉及计算机技术领域，尤其涉及一种平行语料的对齐方法及装置。

背景技术

搜索引擎是指根据一定的策略、运用特定的计算机程序从互联网上搜集信息，在对信息进行组织和处理后，为用户提供检索服务，并将用户检索的相关的信息展示给用户的系统。

具体地，搜索引擎在对用户输入的查询词(query)进行检索时，为了能够返回更多的搜索结果，需要对query中的关键词进行同义替换，并利用替换后的同义词进行检索，这就需要专门进行同义词的挖掘，并保证所挖掘到的同义词有较高的准确率和召回率。

目前，挖掘同义词对的一般做法是：先利用国际商业机器公司(IBM)模型(model)生成一份替换词典，然后利用语言先验知识和替换词典做一次最佳对齐，以生成线上可用的替换词典。

然而，上述方式生成的替换词典准确率低，之后所进行的最佳对齐也不利于后续的进一步优化。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的一个目的在于提出一种具有提高替换词典准确率优点的平行语料的对齐方法及装置。

根据本发明实施例的平行语料的对齐方法包括：获得平行语料，并对所述平行语料进行预处理，以获得预处理后的句对；利用语言的先验知识对预处理后的句对进行规则对齐和统计对齐；以及根据规则对齐和统计对齐后的句对获得替换短语，并对所述替换短语进行过滤，以获得替换词典。

上述平行语料的对齐方法实施例，获得平行语料，并对平行语料进行预处理，对预处理后的句对进行规则对齐，并利用语言的先验知识对预处理后的句对进行规则对齐和统计对齐，然后根据规则对齐和统计对齐后的句对获得替换短语，并对替换短语进行过滤，以获得替换词典；由于在规则对齐和统计对齐过程中利用了语言的先验知识，所以大大提高了替换词典的准确率。

根据本发明实施例的平行语料的对齐装置，包括：获得模块，用于获得平行语料，并对所述平行语料进行预处理，以获得预处理后的句对；对齐模块，用于利用语言的先验知识对预处理后的句对进行规则对齐和统计对齐；以及过滤模块，用于根据规则对齐和统计对齐后的句对获得替换短语，并对所述替换短语进行过滤，以获得替换词典。

上述平行语料的对齐装置实施例，通过获得模块获得平行语料，并对上述平行语料进行预处理，通过对齐模块利用语言的先验知识对预处理后的句对进行规则对齐和统计对齐；通过过滤模块根据规则对齐和统计对齐后的句对获得替换短语，并对上述替换短语进行过滤，以获得替换词典；由于在规则对齐和统计对齐过程中利用了语言的先验知识，所以大大提高了替换词典的准确率。

附图说明

图1是本发明一个实施例的平行语料的对齐方法的流程图。

图2是本发明一个实施例的平行句对进行规则对齐后的示意图。

图3是本发明一个实施例的平行语料的对齐装置的结构示意图。

图4是本发明另一个实施例的平行语料的对齐装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图描述本申请实施例的平行语料的对齐方法及装置。

图1是本发明一个实施例的平行语料的对齐方法的流程图。如图1所示，该平行语料的对齐方法包括：

S101，获得平行语料，并对平行语料进行预处理，以获得预处理后的句对。

在该实施例中，平行语料用于挖掘同义词，其由两个含有同义词的句子组成。例如，假定句子A为:teen films，句子B为：girls movie，则句子A和句子B组成了一个平行句对。

其中，对平行语料进行预处理可以包括但不限于对获得的平行语料进行数据清洗、分词、词性标注和词性识别中的一种或几种。其中，词性识别可包括专名识别。

S102，利用语言的先验知识对预处理后的句对进行规则对齐和统计对齐。

其中，S102可以包括：利用语言的先验知识对预处理后的句对进行规则对齐，并利用语言的先验知识对句对中未经规则对齐的词语进行统计对齐。