[发明专利]一种汉语短语分析方法、系统、存储介质及电子设备

说明书

本发明提供了一种汉语短语分析方法、系统、存储介质及电子设备，其方法包括获取已完成语义标注的短语样本的训练集；根据所述训练集建立短语算法模型，所述短语算法模型包括特征提取网络和分类网络；获取待识别语句；根据所述短语算法模分析所述待识别语句的短语分片和依存关系。本发明通过特征提取网络和分类网络进行短语窗口定位，基于短语窗口进行短语分片和依存关系的识别，提高了汉语短语分析的精度和效率。

技术领域

本发明涉及自然语言处理技术领域，尤指一种汉语短语分析方法、系统、存储介质及电子设备。

背景技术

目前汉语短语的处理分为短语标注体系和短语分析算法两种，存在以下问题：

1.短语标注体系：现有的中文短语标注体系都是基于不相交且无嵌套的短语，即一个词只属于一个短语类别，每一个短语内部不会再包含其他的短语类别。并且都是基本的短语类别，不会包含一些复杂的结构，如从句等

2.短语分析算法：现有的中文短语分析算法都是基于不相交且无嵌套的短语进行识别的，LTP中的标注体系为一个字对应一个标签，其无法解决短语中嵌套关系的识别。

因此，缺乏对于短语分片之间依存关系的分析方法。

发明内容

本发明的目的是提供一种，实现通过特征提取网络和分类网络进行短语窗口定位，基于短语窗口进行短语分片和依存关系的识别，提高了汉语短语分析的精度和效率。

本发明提供的技术方案如下：

本发明提供一种汉语短语分析方法，包括：

获取已完成语义标注的短语样本的训练集；

根据所述训练集建立短语算法模型，所述短语算法模型包括特征提取网络和分类网络；

获取待识别语句；

根据所述短语算法模分析所述待识别语句的短语分片和依存关系。

进一步的，获取已完成语义标注的短语样本的训练集之前还包括：

收集短语数据进行预处理得到短语样本；

根据所述短语样本生成所述训练集、验证集和测试集，所述测试集中各个领域的短语样本与各自的领域对应；

根据所述训练集建立短语算法模型具体包括：

根据所述训练集训练多个初始短语算法模型；

根据所述验证集对所述多个初始短语算法模型进行评估得到所述短语算法模型。

进一步的，根据所述训练集建立短语算法模型具体包括：

对所述训练集中各短语样本进行词向量嵌入得到预设维度的词向量；

获取所述训练集中各短语样本预设维度的的背景知识；

根据所述词向量和所述背景知识得到各短语样本对应的词嵌入；

通过特征提取网络提取所述词嵌入的特征层；

通过所述训练集和所述特征层训练分类网络。

进一步的，通过所述训练集和所述特征层训练分类网络具体包括：

通过全连接对所述短语样本进行划框处理，按照短语中的前后顺序，从所述短语词向量任意选取两个字作为一对窗口起始位置和窗口结束位置，根据所述窗口起始位置和所述窗口结束位置进行划框生成对应的窗口短语；

结合所述特征层确定所述窗口短语的短语分片和依存关系。

进一步的，结合所述特征层确定所述窗口短语的短语分片和依存关系之后还包括：