[发明专利]文本处理方法、用于短文本的链指方法、装置及存储介质

说明书

本公开提供了一种文本处理方法、用于短文本的链指方法、装置、设备、存储介质以及计算机程序产品，涉及知识图谱、深度学习、自然语言处理等人工智能技术领域。具体实现方案为：为歧义词的每个词义项构建文本数据集，其中，歧义词对应多个词义项；对包含歧义词的短文本进行语义解析，得到多个候选消歧词；将每个候选消歧词分别与每个词义项的文本数据集进行匹配；响应于一个候选消歧词仅与一个词义项的文本数据集匹配成功，将该候选消歧作为相匹配的词义项的目标消歧词；将包含目标消歧词的短文本，保存至相匹配的词义项的消歧文本集。获得的消歧文本集精准且简洁。

技术领域

本公开涉及知识图谱、深度学习、自然语言处理等人工智能技术领域，尤其涉及一种文本处理方法、用于短文本的链指方法、装置、设备、存储介质以及计算机程序产品。

背景技术

在自然语言处理领域，短文本通常是指长度较短、字符数较少的文本，例如搜索Query、对话内容、各类标题等。在各种短文本应用场景中，可以通过链接(Linking)的方式，实现对短文本内容的快速理解。最常用的是将短文本中的“实体提及(mention)”与语义知识库中的实体(entity)相关联，从而实现实体链指(Entity Linking)。

发明内容

本公开提供了一种文本处理方法、用于短文本的链指方法、装置、设备、存储介质以及计算机程序产品，获得的消歧文本集精准且简洁，提高了短文本的链指效率。

根据本公开的第一方面，提供了一种文本处理方法，包括：为歧义词的每个词义项构建文本数据集，其中，歧义词对应多个词义项；对包含歧义词的短文本进行语义解析，得到多个候选消歧词；将每个候选消歧词分别与每个词义项的文本数据集进行匹配；响应于一个候选消歧词仅与一个词义项的文本数据集匹配成功，将该候选消歧作为相匹配的词义项的目标消歧词；将包含目标消歧词的短文本，保存至相匹配的词义项的消歧文本集。

根据本公开的第二方面，提供了一种用于短文本的链指方法，包括：获取待处理的短文本，并从待处理的短文本中确定出目标歧义词；获取目标歧义词的多个词义项，以及每个词义项的消歧文本集，其中，消歧文本集是通过上述第一方面提供的文本处理方法得到的；将待处理的短文本分别与每个词义项的消歧文本集进行匹配；基于匹配结果，为目标歧义词确定链指结果。

根据本公开的第三方面，提供了一种文本处理装置，包括：构建模块，被配置为歧义词的每个词义项构建文本数据集，其中，歧义词对应多个词义项；解析模块，被配置为对包含歧义词的短文本进行语义解析，得到多个候选消歧词；匹配模块，被配置为将每个候选消歧词分别与每个词义项的文本数据集进行匹配；确定模块，被配置为响应于一个候选消歧词仅与一个词义项的文本数据集匹配成功，将该候选消歧作为相匹配的词义项的目标消歧词；保存模块，被配置为将包含目标消歧词的短文本，保存至相匹配的词义项的消歧文本集。

根据本公开的第四方面，提供了一种用于短文本的链指装置，包括：第一获取模块，被配置为获取待处理的短文本，并从待处理的短文本中确定出目标歧义词；第二获取模块，被配置为获取目标歧义词的多个词义项，以及每个词义项的消歧文本集，其中，消歧文本集是通过上述第三方法提供的文本处理装置得到的；文本匹配模块，被配置为将待处理的短文本分别与每个词义项的消歧文本集进行匹配；链指模块，被配置为基于匹配结果，为目标歧义词确定链指结果。

根据本公开的第五方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被上述至少一个处理器执行，以使上述至少一个处理器能够执行上述文本处理方法或用于短文本的链指方法。

根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，上述计算机指令用于使上述计算机执行上述文本处理方法或用于短文本的链指方法。

根据本公开的第七方面，提供了一种计算机程序产品，包括计算机程序，上述计算机程序在被处理器执行时实现上述文本处理方法或用于短文本的链指方法。