[发明专利]多语言文本中的语言识别

摘要

提供用于识别多语言文本中的语言的方法、系统和介质。为了较简单的标记操作，而将文档译码为通用表示编码，然后拆分成纯文本内容部分。该部分被识别并被分配权重，其中具有较多信息的部分被给予较高的权重，具有较少信息的部分被给予较少的权重。确定部分中每一词、短语、或字符n元语法模型的语言似然性评分。为每一种语言组合部分内的语言似然性评分。然后将被组合的部分评分相加到一起以获得每一种语言的总文档评分。这样产生每一种语言的文档评分，其能够被排序以确定文档的主要语言。

主权项

一种使用计算机处理器、存储器和数据存储子系统来识别文档中多语言文本的计算机实现的系统，该计算机实现的系统包括：代码页转换部件（210），识别文档所使用的字符编码并且通过处理器将所述编码译码成通用表示编码；部分断开和分类部件（220），将文档的纯文本内容划分成一个或多个加权部分；语言评分部件（230），获得一个或多个加权部分中每一词、短语、或字符n元语法模型的语言似然性评分，并且按照语言来组合所获得的语言似然性评分；以及输出语言选择部件（240），基于最高组合语言似然性评分选择文档的主要语言。