[发明专利]基于语义表示模型的任务处理方法和装置

权利要求书

1.一种基于语义表示模型的任务处理方法，其特征在于，包括：

获取任务处理请求，所述任务处理请求包括待处理任务；

根据所述任务处理请求，获取与所述待处理任务相关的待表示数据；

采用预配置的语义表示模型，对所述待表示数据进行语义分析，以获取所述待表示数据的语义表示，所述预配置的语义表示模型为根据与所述待处理任务相同类型的应用数据，对目标语义表示模型进行调整训练得到的，所述目标语义表示模型为学习训练语料中的词法、语法和语义的模型；

所述目标语义表示模型的获取方式包括：

获取所述训练语料；

根据所述训练语料中的数据，得到至少一个第一预训练任务，所述至少一个第一预训练任务用于学习所述数据的词法、语法和语义中的至少一种；

根据所述至少一个第一预训练任务，对初始语义表示模型进行学习训练，得到目标语义表示模型。

2.根据权利要求1所述的方法，其特征在于，所述预配置的语义表示模型的获取方式包括：

获取与所述待处理任务相同类型的应用数据；

根据所述应用数据，对目标语义表示模型进行调整训练，得到与所述待处理任务相同类型的目标语义表示模型；

将与所述待处理任务相同类型的目标语义表示模型确定为所述预配置的语义表示模型。

3.根据权利要求2所述的方法，其特征在于，所述待处理任务的类型包括如下至少一种：语义匹配类型、情感分析类型、机器翻译类型、对话理解类型和信息抽取类型。

4.根据权利要求2所述的方法，其特征在于，所述根据所述至少一个第一预训练任务，对初始语义表示模型进行学习训练，得到目标语义表示模型，包括：

针对所述至少一个第一预训练任务中的任意一个第一预训练任务，获取所述第一预训练任务的词表示、段表示、位置表示和任务表示；

将所述第一预训练任务的词表示、段表示、位置表示和任务表示输入到所述初始语义表示模型的编码器中进行编码计算，得到所述第一预训练任务的上下文表示；

将所述第一预训练任务的上下文表示输入到所述初始语义表示模型的分类器中进行学习训练，得到所述第一预训练任务的学习损失值；

若所述第一预训练任务的学习损失值满足预设损失阈值，则得到所述目标语义表示模型。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

根据所述至少一个第一预训练任务中每个第一预训练任务的学习损失值和类型，确定预训练任务的类型比例；

根据所述训练语料中的数据，得到满足所述类型比例的多个第二预训练任务，所述多个第二预训练任务用于学习所述数据的词法、语法和语义中的至少一种，所述多个第二预训练任务的类型与所述至少一个第一预训练任务的类型部分不同；

根据所述多个第二预训练任务，对所述目标语义表示模型进行学习训练，得到学习训练后的目标语义表示模型。

6.根据权利要求5所述的方法，其特征在于，所述根据所述至少一个第一预训练任务中每个第一预训练任务的学习损失值和类型，确定预训练任务的类型比例，包括：

根据所述至少一个第一预训练任务中每个第一预训练任务的学习损失值，确定满足所述预设损失阈值的第一预训练任务的第一类型；

根据所述第一类型和预训练任务的全部类型，确定所述类型比例。

7.根据权利要求2所述的方法，其特征在于，在所述根据所述至少一个第一预训练任务，对初始语义表示模型进行学习训练，得到目标语义表示模型之后，还包括：

将所述初始语义表示模型替换为所述目标语义表示模型，并重复执行获取训练语料、根据所述训练语料中的数据，得到至少一个第一预训练任务以及根据所述至少一个第一预训练任务，对初始语义表示模型进行学习训练，得到目标语义表示模型的过程。