[发明专利]语言模型获取及中文语义理解方法、装置及存储介质

权利要求书

1.一种语言模型获取方法，包括：

获取作为训练数据的中文文本；

针对任一训练数据，分别获取其中的各文字的预定嵌入信息，所述预定嵌入信息中至少包括两种嵌入信息，其中一种为音调嵌入信息；

根据所述预定嵌入信息，利用所述训练数据训练语言模型，所述语言模型用于根据待处理的中文文本中的各文字的所述预定嵌入信息、生成所述待处理的中文文本的语义表示信息。

2.根据权利要求1所述的方法，其中，所述音调包括：平声、一声、二声、三声和四声。

3.根据权利要求1所述的方法，其中，所述预定嵌入信息中还包括以下之一或任意组合：词嵌入信息、句嵌入信息、位置嵌入信息、任务嵌入信息。

4.根据权利要求1所述的方法，其中，所述根据所述预定嵌入信息，利用所述训练数据训练语言模型包括：针对任一训练数据，分别将其中的各文字的嵌入信息加权相加，将各文字对应的加权相加结果作为所述语言模型的输入，训练所述语言模型。

5.根据权利要求1所述的方法，其中，所述利用所述训练数据训练语言模型包括：以词层级预训练任务、结构层级预训练任务和语义层级预训练任务为训练任务，对所述语言模型进行训练。

6.根据权利要求1所述的方法，其中，所述利用所述训练数据训练语言模型包括：基于预定模型热启，以持续学习的方式训练所述语言模型。

7.一种中文语义理解方法，包括：

针对待处理的中文文本，分别获取其中的各文字的预定嵌入信息，所述预定嵌入信息中至少包括两种嵌入信息，其中一种为音调嵌入信息；

根据所述预定嵌入信息及预先训练得到的语言模型，得到所述待处理的中文文本的语义表示信息。

8.根据权利要求7所述的方法，其中，所述音调包括：平声、一声、二声、三声和四声。

9.根据权利要求7所述的方法，其中，所述预定嵌入信息中还包括以下之一或任意组合：词嵌入信息、句嵌入信息、位置嵌入信息、任务嵌入信息。

10.根据权利要求7所述的方法，其中，所述根据所述预定嵌入信息及预先训练得到的语言模型，得到所述待处理的中文文本的语义表示信息包括：

针对所述待处理的中文文本，分别将其中的各文字的嵌入信息加权相加，将各文字对应的加权相加结果作为所述语言模型的输入，得到输出的所述语义表示信息。

11.一种语言模型获取装置，包括：数据获取模块及模型训练模块；

所述数据获取模块，用于获取作为训练数据的中文文本；

所述模型训练模块，用于针对任一训练数据，分别获取其中的各文字的预定嵌入信息，所述预定嵌入信息中至少包括两种嵌入信息，其中一种为音调嵌入信息，根据所述预定嵌入信息，利用所述训练数据训练语言模型，所述语言模型用于根据待处理的中文文本中的各文字的所述预定嵌入信息、生成所述待处理的中文文本的语义表示信息。

12.根据权利要求11所述的装置，其中，所述音调包括：平声、一声、二声、三声和四声。

13.根据权利要求11所述的装置，其中，所述预定嵌入信息中还包括以下之一或任意组合：词嵌入信息、句嵌入信息、位置嵌入信息、任务嵌入信息。

14.根据权利要求11所述的装置，其中，所述模型训练模块针对任一训练数据，分别将其中的各文字的嵌入信息加权相加，将各文字对应的加权相加结果作为所述语言模型的输入，训练所述语言模型。

15.根据权利要求11所述的装置，其中，所述模型训练模块以词层级预训练任务、结构层级预训练任务和语义层级预训练任务为训练任务，对所述语言模型进行训练。