[发明专利]深度神经网络模型的构建方法、装置、介质及电子设备

权利要求书

1.一种深度神经网络模型的构建方法，其特征在于，包括：

将有标签样本数据输入第一神经网络模型，得到有标签样本数据的特征表示；其中，所述第一神经网络模型根据无标签样本数据对第一神经网络模型的网络结构的参数进行训练得到的；

将有标签样本数据的特征表示和标签数据输入第二神经网络模型，以对所述第二神经网络模型的参数进行训练；

其中，所述将有标签样本数据的特征表示和标签数据输入第二神经网络模型之前还包括：

根据样本数据的标签类型，确定样本数据的任务类型；

根据样本数据的任务类型，确定所述第二神经网络模型的网络结构；

其中，所述任务类型包括语义分类类型、语义包含类型、文本相似类型以及多元选择类型中的至少一种；

其中，根据所述样本数据的任务类型，确定所述第二神经网络模型的网络结构，包括：

若所述样本数据的任务类型为语义分类类型，则所述第二神经网络模型的网络结构包括：数据输入层和语义分类数据输出层；

若所述样本数据的任务类型为语义包含类型，则所述第二神经网络模型的网络结构包括：前提信息输入层、假设信息输入层以及包含结果输出层；

若所述样本数据的任务类型为文本相似类型，则所述第二神经网络模型的网络结构包括：第一分支、第二分支和结果叠加层，其中所述第一分支包括第一信息输入层、第二信息输入层以及相似结果输出层；所述第二分支包括第二信息输入层、第一信息输入层以及相似结果输出层；其中所述结果叠加层用于根据第一分支的相似结果输出层和第二分支的相似结果输出层确定第一信息和第二信息的文本相似度；

若所述样本数据的任务类型为多元选择类型，则所述第二神经网络模型的网络结构包括：至少两个选择分支，每个选择分支包括上下文信息输入层和待选答案输入层，还包括匹配度输入层以输出各分支的上下文信息与待选答案的匹配度。

2.根据权利要求1所述的方法，其特征在于，对所述第二神经网络模型的参数进行训练之后，还包括：

获取待检测的目标数据，以及目标数据所关联的目标任务类型；

将所述目标数据作为所述第一神经网络模型的输入，得到目标数据的特征表示；

将目标数据的特征表示作为所述目标任务类型所关联经训练的第二神经网络模型，得到目标数据的任务检测结果。

3.一种深度神经网络模型的构建装置，其特征在于，包括：

特征表示获取模块，用于将有标签样本数据输入第一神经网络模型，得到有标签样本数据的特征表示；其中，所述第一神经网络模型根据无标签样本数据对第一神经网络模型的网络结构的参数进行训练得到的；

参数训练模块，用于将有标签样本数据的特征表示和标签数据输入第二神经网络模型，以对所述第二神经网络模型的参数进行训练；

其中，所述装置还包括：

任务类型确定模块，用于根据样本数据的标签类型，确定样本数据的任务类型；

网络结构选择模块，用于根据样本数据的任务类型，确定所述第二神经网络模型的网络结构；

其中，所述任务类型包括语义分类类型、语义包含类型、文本相似类型以及多元选择类型中的至少一种；

其中，所述网络结构选择模块具体用于：

若所述样本数据的任务类型为语义分类类型，则所述第二神经网络模型的网络结构包括：数据输入层和语义分类数据输出层；

若所述样本数据的任务类型为语义包含类型，则所述第二神经网络模型的网络结构包括：前提信息输入层、假设信息输入层以及包含结果输出层；

若所述样本数据的任务类型为文本相似类型，则所述第二神经网络模型的网络结构包括：第一分支、第二分支和结果叠加层，其中所述第一分支包括第一信息输入层、第二信息输入层以及相似结果输出层；所述第二分支包括第二信息输入层、第一信息输入层以及相似结果输出层；其中所述结果叠加层用于根据第一分支的相似结果输出层和第二分支的相似结果输出层确定第一信息和第二信息的文本相似度；

若所述样本数据的任务类型为多元选择类型，则所述第二神经网络模型的网络结构包括：至少两个选择分支，每个选择分支包括上下文信息输入层和待选答案输入层，还包括匹配度输入层以输出各分支的上下文信息与待选答案的匹配度。