[发明专利]基于转移学习的多语言语义解析器

说明书

本公开涉及从第一语言(例如，已经规定了语义解析器的源语言)到第二语言(例如，尚未规定语义解析器的目标语言)的转移学习。一种系统可以使用来自一种语言的经训练的模型的知识来对另一种语言进行建模。例如，所述系统可以将语义解析器的知识从第一(例如，源)语言转移成第二(例如，目标)语言。当第一语言具有足够训练数据而第二语言具有不足训练数据时，这种知识转移可能会发生并且很有用。前述知识转移可以将语义解析器扩展用于多种语言(例如，第一语言和第二语言)。

相关申请的交叉引用

本申请要求保护2017年4月23日提交的题为“Multi-Lingual Semantic ParserBased on Transferred Learning”的美国临时专利申请系列No.62/488.838的权益，其全部内容通过引用而并入于此。

技术领域

本发明涉及一种用于生成、验证以及使用能够解析多种语言并基于多语言训练进行代码转换的语义解析器的系统和方法，该系统和方法包括将一种语言的语义解析器的知识转移成另一种语言，用于在自然语言处理中使用。

背景技术

语义解析是将自然语言输入(例如，自然语言话语或其它输入)映射到逻辑形式(诸如Prolog或lambda演算)的任务，这对于计算机更容易理解。通常，可以直接通过数据库查询执行该逻辑形式。语义解析需要应用或域特定的训练数据，因此常规方法是针对语言和应用域的每种组合来制作训练数据。语义解析多半是仅针对某些语言(例如，所谓的高资源语言)开发的，这是因为其构建成本高且耗时。

尽管已经开发了跨域转移学习的技术，但常规系统尚未将这种转移学习用于尚未开发语义解析的语言。例如，各种迁移学习方法可能不适用于跨语言转移学习(即，从一种语言到另一种语言的转移)，这是因为这两种语言之间可能没有太多共用特征。

在为多种语言开发语义解析器(包括用于跨不同语言的转移学习的语义解析器)时，存在这些以及其它问题。

发明内容

致力于解决这些和其它缺点的本发明涉及一种用于生成、验证以及使用能够解析多种语言并基于多语言训练进行代码转换的语义解析器的系统和方法，用于在自然语言处理中使用。所述系统可以生成能够理解采用诸如第一语言和第二语言的多种语言的输入的语义解析器。如本文所用，术语“语言(language)”和类似的术语(诸如“语言学(linguistic)”和“语言(lingual)”)是指诸如英语、德语、日语等的传达含义的单词或符号的结构。

本文所公开的各种系统和方法使得在一种语言下的应用域特定的训练数据能够改进性能并且减少在另一种语言下对相同应用域的训练数据的需求。这样的应用(尤其)可以解决必须同时针对多种语言开发单个应用的情况。基于本文的公开，其它用途和优点将是显而易见的。

在一些实现中，所述系统执行从第一语言(例如，已经规定了语义解析器的源语言)到第二语言(例如，尚未规定语义解析器的目标语言)的跨语言学习。在一些情况下，可以同时将来自多种语言的数据用于训练，以便生成多语言语义解析器。在一些情况下，所述系统可以使用来自一种语言的经训练的模型的知识来对另一种语言进行建模。例如，所述系统可以将语义解析器的知识从第一(例如，源)语言转移成第二(例如，目标)语言。当第一语言具有足够训练数据而第二语言具有不足训练数据时，这种知识转移可能会发生并且很有用。前述知识转移可以将语义解析器扩展用于多种语言(例如，第一语言和第二语言)。扩展的语义解析器在本文中可以被称为多语言语义解析器。

在一些实现中，所述系统可以生成跨语言单词特征(诸如单词嵌入)作为语言之间的通用链接，同时训练用于语义解析的语言学模型。可以将预处理的维基百科单一语言转储用于训练单词嵌入。可以将第一语言和第二语言两者的翻译词典、机器翻译器或其它翻译源用于生成这样的跨语言单词特征。在一些实现中，可以将跨语言特征并入应用于语义解析的序列到序列模型(“seq2seq模型”)中，以便将该跨语言特征扩展到目标语言。