[发明专利]基于语义表示模型的任务处理方法和装置

说明书

本申请公开了基于语义表示模型的任务处理方法和装置，涉及NLP领域。具体实现方案为：通过获取包含有待处理任务的任务处理请求。根据任务处理请求，获取与待处理任务相关的待表示数据。由于目标语义表示模型为通用的语义表示模型，所学习到的任务是基于使用海量无标注的训练语料构建支持词汇、语法、语义等层次的自定义预训练任务，且预配置的语义表示模型为根据与待处理任务相同类型的应用数据对目标语义表示模型进行调整训练得到的，因此，采用预配置的语义表示模型，对与待表示数据进行语义分析，获取待表示数据的语义表示，可以适用于各种具体NLP任务，提高了模型的适用性能和使用性能。

技术领域

本申请涉及计算机技术领域中的自然语言处理(natural language processing，NLP)领域，尤其设计一种基于语义表示模型的任务处理方法和装置。

背景技术

目前，传统的语义表示模型包括：上下文无关的语义表示模型，如Word2Vec和Glove等模型，以及上下文相关的语义表示模型，如ELMo、BERT和XLNet等模型。

上下文相关的语义表示模型可以通过自监督的训练方法，建模出词在具体语境环境下的语义表示，相对于上下文无关的语义表示模型具有明显的效果提升。例如，BERT模型通过掩码语言模型和下一句预测任务进行训练。例如，对于乒[mask]球，清明上[mask]图，[mask]颜六色这些词，BERT模型通过字的搭配，很容易推测出掩码的字信息。XLNet模型构建了全排列的语言模型，并通过自回归的方式进行预训练。

然而，由于BERT、XLNet等上下文相关的语义表示模型主要通过词或者句子的共现信息学习，因此，上下文相关的语义表示模型的任务目标单一，难以充分地利用无监督训练语料中的各种数据，构建出通用的语义表示模型能力受限。

发明内容

本申请提供一种基于语义表示模型的任务处理方法和装置，以解决传统的语义表示模型中无法充分利用无监督训练语料中的各种数据而导致模型能力受限的问题。

第一方面，本申请提供一种基于语义表示模型的任务处理方法，包括：获取任务处理请求，所述任务处理请求包括待处理任务；根据所述任务处理请求，获取与所述待处理任务相关的待表示数据；采用预配置的语义表示模型，对与所述待表示数据进行语义分析，以获取所述待表示数据的语义表示，所述预配置的语义表示模型为根据与所述待处理任务相同类型的应用数据，对目标语义表示模型进行调整训练得到的，所述目标语义表示模型为学习训练语料中的词法、语法和语义的模型。

通过第一方面提供的基于语义表示模型的任务处理方法，通过获取任务处理请求。其中，任务处理请求包括待处理任务。根据任务处理请求，获取与待处理任务相关的待表示数据。再采用预配置的语义表示模型，对与待表示数据进行语义分析，从而获取待表示数据的语义表示。本申请中，由于目标语义表示模型为学习训练语料中的词法、语法和语义的模型，目标语义表示模型学习到的任务是基于使用海量无标注的训练语料构建支持词汇、语法、语义等层次的自定义预训练任务，且预配置的语义表示模型为根据与待处理任务相同类型的应用数据，对目标语义表示模型进行调整训练得到的，故预配置的语义表示模型可以适用于各种具体NLP任务，解决了传统的语义表示模型中无法充分利用无监督训练语料中的各种数据而导致模型能力受限的问题，提高了模型的适用性能和使用性能。

可选地，所述预配置的语义表示模型的获取方式包括：获取与所述待处理任务相同类型的应用数据；根据所述应用数据，对目标语义表示模型进行调整训练，得到与所述待处理任务相同类型的目标语义表示模型；将与所述待处理任务相同类型的目标语义表示模型确定为所述预配置的语义表示模型。

可选地，所述待处理任务的类型包括如下至少一种：语义匹配类型、情感分析类型、机器翻译类型、对话理解类型和信息抽取类型。