[发明专利]深度学习序列标注方法、装置及计算机可读存储介质

权利要求书

1.一种深度学习序列标注方法，其特征在于，所述方法包括：

利用初始化的embedding层对待处理文本的句子中的每个字进行预处理，获取所述待处理文本中的每个字的字向量；

通过bi-lstm层对所述字向量进行处理，获取所述待处理文本的文本特征；

通过softmax层对所述文本特征进行处理，获取所述文本特征的预测标注位置，包括如下步骤：

对所述文本特征进行softmax计算，计算所述待处理文本中句子的每个字预测为某一个标注标签的归一化概率，其中，所述softmax计算公式为：

其中，i表示K中某个分类，g_i表示该分类的值，K∈(0，n)；

将计算得到的最大概率标注为预测标签，完成所述待处理文本中待标注位置的分类；

通过loss层对所述文本特征的预测标注位置进行处理，完成所述待处理文本的序列标注，包括如下步骤：

根据loss损失函数计算所述预测标注位置与真实标签位置的损失值，其中，采用的loss损失函数的具体公式如下：

其中，1-p_i1表示自动缩放系数；p_i1表示预测为1的概率；

y_i1则是标注为1的概率；∈为平滑项；

根据所述损失值，对深度学习模型进行反复训练，直至所述深度学习模型收敛，所述深度学习模型训练完成；

通过训练完成的深度学习模型对所述待处理文本进行处理，获取所述待处理文本的序列标注。

2.如权利要求1所述的深度学习序列标注方法，其特征在于，所述利用初始化的embedding层将待处理文本的句子中的每个字进行预处理，获取所述待处理文本中的每个字的字向量，包括如下步骤：

利用初始化的embedding层将所述待处理文本的句子中的每个字由one-hot向量映射为低维稠密的字向量，得到所述待处理文本中的每个字的字向量。

3.如权利要求1所述的深度学习序列标注方法，其特征在于，所述通过bi-lstm层对所述字向量进行处理，获取所述待处理文本的文本特征，包括如下步骤：

将所述待处理文本中的句子的每个字的字向量作为双向lstm各个时间步的输入；

将正向lstm输出的隐状态向量与反向lstm的在各个位置输出的隐状态向量进行按位置拼接，得到完整的隐状态向量；

对所述完整的隐状态向量进行处理，获取所述待处理文本的文本特征。

4.一种深度学习序列标注装置，其特征在于，所述装置包括：

字向量获取模块，用于利用初始化的embedding层对待处理文本的句子中的每个字进行预处理，获取所述待处理文本中的每个字的字向量；

文本特征获取模块，用于通过bi-lstm层对所述字向量进行处理，获取所述待处理文本的文本特征；

预测标注位置获取模块，用于通过softmax层对所述文本特征进行处理，获取所述文本特征的预测标注位置，包括如下步骤：

对所述文本特征进行softmax计算，计算所述待处理文本中句子的每个字预测为某一个标注标签的归一化概率，其中，所述softmax计算公式为：

其中，i表示K中某个分类，g_i表示该分类的值，K∈(0，n)；

将计算得到的最大概率标注为预测标签，完成所述待处理文本中待标注位置的分类；

序列标注完成模块，用于通过loss层对所述文本特征的预测标注位置进行处理，完成所述待处理文本的序列标注，包括如下步骤：

根据loss损失函数计算所述预测标注位置与真实标签位置的损失值，其中，采用的loss损失函数的具体公式如下：

其中，1-p_i1表示自动缩放系数；p_i1表示预测为1的概率；

y_i1则是标注为1的概率；∈为平滑项；

根据所述损失值，对深度学习模型进行反复训练，直至所述深度学习模型收敛，所述深度学习模型训练完成；

通过训练完成的深度学习模型对所述待处理文本进行处理，获取所述待处理文本的序列标注。