[发明专利]人名单元词典扩充方法、人名语言识别方法和装置

说明书

技术领域

本公开涉及信息处理技术领域，更具体地，涉及一种人名单元词典扩充方法、人名语言识别方法和装置。

背景技术

人名语言识别已被广泛应用于文本处理、机器翻译等自然语言处理领域，其能够有效地提高处理性能。一般地，人名语言识别可以认为是分类问题，而分类性能受到训练预料和特征选择的影响。因此，对于人名这样的短文本如何获得大量覆盖率高的训练语料以及实现有效的特征提取是本领域的研究重点。

具体来说，带有人名国别标注的人名训练语料需要投入大量的资源，并且使得这样的训练语料覆盖各个语言的所有可能也是困难的。因此，如何解决在没有足够训练语料的情况下进行人名语言识别对本领域技术人员来说是一项挑战。另一方面，由于人名是短文本，因此与普通文本相比，人名可供使用的特征较少，使得人名的语言识别与普通文本的语言识别相比来说难度更大。因此，如何构建分类器训练特征也是一大难题。

发明内容

在下文中给出了关于本公开的简要概述，以便提供关于本公开的某些方面的基本理解。但是，应当理解，这个概述并不是关于本公开的穷举性概述。它并不是意图用来确定本公开的关键性部分或重要部分，也不是意图用来限定本公开的范围。其目的仅仅是以简化的形式给出关于本公开的某些概念，以此作为稍后给出的更详细描述的前序。

鉴于以上情形，本公开的目的是提供一种能够在保证性能的前提下减少对训练语料的要求的人名单元词典扩充方法、人名语言识别方法和人名语言识别装置。

根据本公开的一方面，提供了一种人名单元词典扩充方法，其可包括：词项初始权重计算步骤，基于每个词项所出现的人名单元词典的数量，计算各个词项在预定多个语言的人名单元词典中的初始权重；人名单元匹配步骤，将作为训练样本的多个人名中的每个人名划分为人名单元，将所划分的人名单元与预定多个语言的人名单元词典中的词项进行匹配，并将匹配的人名单元确定为匹配人名单元，将未匹配的人名单元确定为未匹配人名单元；人名权重计算步骤，根据匹配人名单元在预定多个语言的人名单元词典中的权重来确定包含匹配人名单元的人名在各个人名单元词典中的权重；未匹配人名单元处理步骤，根据包含未匹配人名单元的所有人名在各个人名单元词典中的权重，计算未匹配人名单元在各个人名单元词典中的权重，并将未匹配人名单元作为词项添加到包含未匹配人名单元的所有人名中的匹配人名单元所在的人名单元词典中；匹配人名单元权重更新步骤，根据包含匹配人名单元的所有人名在各个人名单元词典中的权重，更新匹配人名单元在各个人名单元词典中的权重；以及重复人名单元匹配步骤、人名权重计算步骤、未匹配人名单元处理步骤和匹配人名单元权重更新步骤中的处理，直至预定多个语言的人名单元词典中的所有词项的权重变化小于预定阈值为止，从而得到所有词项均具有权重标注的人名单元词典。

根据本公开的另一方面，还提供了一种人名语言识别方法，其可包括：人名划分步骤，将输入的人名划分为n元子字符串，其中，n元子字符串表示包括人名中的连续n个字符的单元，n是大于或等于2的整数；n元子字符串权重计算步骤，根据包含各个n元子字符串的所有词项在根据本公开的带权重标注的人名单元词典中的权重来计算各个n元子字符串在各个人名单元词典中的权重；以及识别步骤，根据人名中的所有n元子字符串在各个人名单元词典中的权重，识别人名所属的语言。

根据本公开的另一方面，还提供了一种人名语言识别装置，其可包括：人名划分单元，被配置成将输入的人名划分为n元子字符串，其中，n元子字符串表示包括人名中的连续n个字符的单元，n是大于或等于2的整数；n元子字符串权重计算单元，被配置成根据包含各个n元子字符串的所有词项在根据本公开的带权重标注的人名单元词典中的权重来计算各个n元子字符串在各个人名单元词典中的权重；以及识别单元，被配置成根据人名中的所有n元子字符串在各个人名单元词典中的权重，识别人名所属的语言。