[发明专利]使用N-GRAM机器的自然语言处理

说明书

本公开提供了执行机器学习的自然语言处理的系统和方法。计算系统可以包括机器学习的自然语言处理模型，该机器学习的自然语言处理模型包括编码器模型和编程器模型，该编码器模型被训练以接收自然语言文本主体并输出知识图，该编程器模型被训练以接收自然语言问题并输出程序。计算系统可以包括存储指令的计算机可读介质，当被执行时，所述指令使得处理器执行操作。所述操作可以包括获得自然语言文本主体，将自然语言文本主体输入到编码器模型中，接收作为编码器模型的输出的知识图，获得自然语言问题，将自然语言问题输入到编程器模型中，接收作为编程器模型的输出的程序，并且在知识图上执行程序以产生对自然语言问题的回答。

技术领域

本公开一般涉及机器学习。更具体地，本公开涉及经由机器学习执行自然语言处理。

背景技术

自然语言处理(NLP)可能涉及基于包含在自然语言文档中的信息来回答自然语言问题。对这样的问题的准确回答通常可能涉及对自然语言问题和对文档两者的语义解析。有效的语义解析通常取决于具有人工定义的架构(schema)的人工知识库(human-curatedbase)。但是，这种方法可能需要大量劳力，这会使开发和维护的成本高昂。

发明内容

本公开的实施例的方面和优点将在以下描述中部分地阐述，或者可以从描述中获悉，或者可以通过实施例的实施而习知。

本公开的一个示例方面针对计算系统。计算系统可以包括至少一个处理器和机器学习的自然语言处理模型。机器学习的自然语言处理模型可以包括编码器模型，该编码器模型被训练以接收自然语言文本主体，并且响应于接收到自然语言文本主体，输出知识图(knowledge graph)。机器学习的自然语言处理模型可以包括编程器模型(programmermodel)，该模型被训练以接收自然语言问题，并且响应于接收到自然语言问题，输出程序。计算系统可以包括至少一种有形的非暂时性计算机可读介质，该介质存储指令，当由至少一个处理器执行时，所述指令使得至少一个处理器执行操作。所述操作可以包括获得自然语言文本主体并将自然语言文本主体输入到编码器模型中。所述操作可以包括接收作为编码器模型的输出的知识图。所述操作可以包括获得自然语言问题并将自然语言问题输入到编程器模型中。所述操作可以包括接收作为编程器模型的输出的程序，以及在知识图上执行程序以产生对自然语言问题的回答。

本公开的另一示例方面针对计算机实现的方法，该方法包括由一个或多个计算设备获得自然语言处理模型，该自然语言处理模型包括编码器模型、解码器模型和编程器模型。编码器模型可以被配置为接收自然语言文本主体，并且响应于接收到自然语言文本主体，输出知识图。解码器模型可以被配置为接收知识图，并且响应于接收到知识图，输出自然语言文本主体的重建(reconstruction)。编程器模型可以被训练以接收自然语言问题，并且响应于接收到自然语言问题，输出程序。计算机实现的方法可以包括由一个或多个计算设备将包括自然语言文本主体和自然语言问题的训练数据集输入自然语言处理模型，以接收对自然语言问题的回答。计算机实现的方法可以包括由一个或多个计算设备评估总目标函数(total objective function)，该总目标函数包括自动编码器目标函数和问答(question answer)目标函数。自动编码器目标函数能够描述自然语言文本主体与自然语言文本主体的重建之间的重建损失。问答目标函数能够描述基于回答和包括在训练数据集中的预期回答(expected answer)的比较的奖励(reward)。计算机实现的方法可以包括由一个或多个计算设备基于总目标函数训练自然语言处理模型。

本公开的另一示例方面针对用于响应自然语言查询的计算系统。所述计算系统可以包括编码系统，该编码系统被配置为接收自然语言文本主体，并且使用机器学习的自然语言编码器模型基于自然语言文本主体来生成知识图。该计算系统可以包括查询编程系统，该查询编程系统被配置为接收自然语言输入查询，并且使用机器学习的自然语言查询编程器模型基于自然语言输入查询来生成用于查询知识图的程序。查询执行系统可以被配置为在所生成的知识图上执行所生成的程序并输出查询响应。