[发明专利]基于双向格子结构的长短时记忆网络的中文语义信息提取方法和装置

权利要求书

1.一种语义信息提取方法，其特征是，包括：

获取待识别的语料数据；

对获取到的语料数据进行预处理，预处理包括将语料数据转换为词向量和/或字向量；

将向量转换后的语料信息输入至预先训练的语义信息提取模型，得到命名实体识别结果；所述语义信息提取模型包括双向长短时记忆网络和CRF层网络，其训练样本为已标注字符标签和实体标签的语料数据的向量形式；双向长短时记忆网络的输出为待识别语句中各词中字符映射到标签的概率矩阵，CRF层网络根据双向长短时记忆网络的输出确定待识别语句的标签序列并输出。

2.根据权利要求1所述的方法，其特征是，所述待识别的语料数据为中文语句文本。

3.根据权利要求1所述的方法，其特征是，对获取到的语料信息进行预处理还包括数据清洗。

4.根据权利要求1所述的方法，其特征是，对获取到的语料数据进行预处理时，将待识别语料与预设的单词查找树进行匹配，得到相应的单词集合，进而采用嵌入层Embedding将语料数据转换为词向量和字向量。

5.根据权利要求1所述的方法，其特征是，语义信息提取模型的训练包括：

样本语料标注：对多个样本语句进行标注处理，标注出各样本语句中的字符标签；

对标注后的样本语料进行预处理，抽取得到训练样本语句，及其对应的标签序列和单词集合；

利用训练样本对双向格子结构的长短时记忆网络进行训练，以调整其网络参数；

基于训练样本利用双向格子结构的长短时记忆网络的输出对CRF层网络进行训练，以调整其网络参数；

得到训练完成的语义信息提取模型。

6.根据权利要求5所述的方法，其特征是，语义信息提取模型训练还包括根据训练样本及训练过程中的识别结果计算准确率P和召回率R，并根据以下公式计算评价分数F1：

响应于评价分数值大于预设值，则停止模型训练。

7.根据权利要求5所述的方法，其特征是，对标注后的样本语料进行预处理包括：

(2.1)统计已标注样本语料的字符，得到字符集合，然后对每个字符编号，得到字符集合对应的字符编号集合；统计已标注样本语料的标签，得到标签集合，然后对每个标签编号，得到标签集合对应的标签编号集合；

(2.2)基于汉语词典建立单词查找树，将各语句与单词查找树进行匹配，保留匹配成功的单词，得到样本语料对应的单词集合；

(2.3)对单词集合中的单词去重处理并编号，得到新的单词集合及其对应的词编号集合；

(2.4)将样本语料中的字符和标签分别根据字符编号集合和标签编号集合转换为对应编号；同时将各语句中的各单词根据词编号集合转换为对应的编号；

模型训练时，将转换编号后的样本语料随机排列，采用随机无放回的方式从样本语料中抽取若干语句及其对应的标签和对应的单词集合，进行向量转换后，作为双向格子结构的长短时记忆网络的输入。

8.根据权利要求1或5所述的方法，其特征是，可选的，双向格子结构的长短时记忆网络的隐藏层包括前向网络层和反向网络层，前向网络层和反向网络层分别设置字处理网络单元和词处理网络单元；字处理网络单元包括输入门、输出门和遗忘门，词处理网络单元包括输入门和遗忘门；

字处理网络单元的输入量包括当前字符的字符向量、前一个字符的细胞状态和字处理网络单元的输出，以及以当前字符为末位字符的单词从词处理网络单元输出的细胞状态；词处理网络单元的输入包括当前单词向量，以及当前单词的首位字符在字处理网络单元的输出和细胞状态；

双向长短时记忆网络的输出为待识别语句中各词中字符映射到标签的非归一化概率矩阵，CRF层网络采用维特比算法根据双向长短时记忆网络的输出，确定待识别语句的标签序列。。