[发明专利]基于语境的依存句法树的构建方法

说明书

本发明涉及语境核心词提取领域，具体为一种基于语境的依存句法树的构建方法，其包括：步骤S100，获取句子；步骤S200，通过核心词判断将句子切分形成片段序列；步骤S300，判断片段序列之间的中间词的归属语境；步骤S400，去除单个词的语境，获得最小语境集合；以及步骤S500，基于最小语境集合构建依存句法树。实现了基于核心词进行依存句法树的构建。

技术领域

本发明涉及语境核心词提取领域，具体为一种基于语境的依存句法树的构建方法。

背景技术

当前国内外对于语境核心词提取算法的研究较少，更多的是对于关键词提取算法的研究。基于核心词构建依存句法树对于文本特征提取具有良好的性能。

基于上述技术问题，需要设计一种新的基于语境的依存句法树的构建方法。

发明内容

本发明的目的是提供一种基于语境的依存句法树的构建方法。

为了解决上述技术问题，本发明提供了一种基于语境的依存句法树的构建方法，包括：

步骤S100，获取句子；

步骤S200，通过核心词判断将句子切分形成片段序列；

步骤S300，判断片段序列之间的中间词的归属语境；

步骤S400，去除单个词的语境，获得最小语境集合；以及

步骤S500，基于最小语境集合构建依存句法树。

进一步，所述步骤S100中获取句子的方法包括：

初始化词字典，针对训练文本集中每个文本D，将文本D拆分成句子集合S。

进一步，所述步骤S200中通过核心词判断将句子切分形成片段序列的方法包括：

基于熵对比的语境核心词判断算法将句子切分形成片段序列，即

步骤S201，遍历句子集合S，将其中每一个句子拆分成n个词形成词集合W_S；

步骤S202，针对词集合W_S中每个词w_i，i∈n计算其与词集合中任一词的共现次数；

步骤S203，查找词字典中词w_i，将词w_i与词集合W_S中的其它词w_j，j∈n按<w_j，count>累加；

步骤S204，针对词字典，进行遍历，求出每个词w_i的语境共现频率向量V_i，即将所有与词w_i具有共现关系的词，基于公式：其中w_j∈W_S且w_j≠w_i，m∈n，m＝n-1，获得语境共现频率向量V_i；

式中：为其他词w_j的共现频率；为其他词w_j和词w_i的共现次数；

步骤S205，基于公式计算出每个词的语境共现熵值H(V_i)，完成整个文本的训练；

步骤S206，针对文本集进行文本分类处理后得到的文本分类集中任一句子集合S，将其拆分成词集合W_S，遍历其中每个词w_i，根据词字典中词w_i对应的熵，逐一比较各词的语境共现熵值，具有最大语境共现熵值的词即为核心词；