[发明专利]领域短语词典构建方法

权利要求书

1.一种领域短语词典构建方法，其特征在于，包括：

挖掘短语；

构建领域词库；

构建词典模型。

2.根据权利要求1所述的方法，其特征在于，所述挖掘短语，包括：

将原始数据进行预处理和分词，随后对分词结果采用相邻词频短语挖掘方法，提取出句子中所有可能出现的短语集合。

3.根据权利要求1所述的方法，其特征在于，所述挖掘短语，包括：

在文档M中，句子序列T＝{t₀，t₁，t₂，...，t_n}，通过t₀与t₁，t₁、t₂与t₃组合的方法生成短语集合在遍历文档M生成短语集合过程中，对生成的短语p进行计数，计p₁出现次数为C₁，p_n出现次数计为C_pn；同时，t_n在整个数据集中出现次数记C_tn；设计以下公式计算短语的重要程度：

δ，μ由人工定义参数，为词和短语设定偏移权重；通过短语重要程度E来判定短语p是否为高频短语，当E大于δ时(E＞δ)，将其加入候选词库

4.根据权利要求1所述的方法，其特征在于，所述构建领域词库，包括：

使用TF-IDF算法训练短语集合得到带权重的词，再通过权重阈值将词划分为领域相关词和无关词。

5.根据权利要求1所述的方法，其特征在于，所述构建领域词库，包括：

计算方法词汇x_i，j对于文档集合D的TF-IDF值

tfidf_i，j＝tf_i，j×idf_i

根据词汇的tfidf值，构建出一个重要词汇词典D_tf＝{x_i，j|tfidf_i，j＞θ}，θ为判定该词语是否加入词典的阈值，当tfidf值大于θ时才将词加入词典D_tf；对于短语的tfidf值则求其平均值：

通过TF-IDF算法训练句子序列T中每个词的权重，利用权重值来构建短语标签库；当从确定的语料库中提取的候选词与领域内的任何高质量短语都不匹配时，将这些候选词构建成一个含有噪声的无关词库；相反，与之匹配的作为相关词库。

6.根据权利要求1所述的方法，其特征在于，所述构建词典模型，包括：

基于卷积神经网络构建词典模型；

CNN-PD模型的词嵌入层将文本与位置特征转换为包含语义特征的词向量；

卷积层将词向量构建为分散式的多维特征向量H；

H经过全连接层映射得出每个词的分数。

7.一种电子设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-6中任一所述的方法。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以实现如权利要求1-6中任一所述的方法。