[发明专利]一种集成浅层语义表示向量的深度学习文本分类方法

说明书

本发明公开了一种集成浅层语义表示向量的深度学习文本分类方法，方法包括：首先对文本语料训练词嵌入向量，其次利用领域词汇字典作为浅层语义词汇，基于浅层语义词汇，生成文本语料中每一个词的浅层语义向量表达。接下来将两个词向量进行加权拼接作为新的词向量输入到CNN模型中，进行特征提取和模型训练，构建文本分类器。本发明解决基于大数据驱动的词向量表达缺少词法特征和知识表示，难以真正理解词汇语义信息的缺陷，使得模型具有更加丰富的特征表达和更高的分类性能。

技术领域

本发明涉及深度学习与文本分类领域，特别是涉及一种集成浅层语义表示向量的深度学习文本分类方法。

背景技术

文本分类指对大量的非结构化文本语料按照给定的分类体系进行类别归属预测的过程。随着深度学习技术的突破，以word2vec为代表的词嵌入技术和以卷积神经网络为代表的深度学习模型在文本分类上取得不错的效果。但总体而言，在准确性和可靠性上还远未能达到实用水平，这是由深度学习的先验知识缺失所造成的。因为大数据驱动的深度学习模型只会发现数据集中统计意义上的结论，难以有效利用先验知识。将先验知识融入到深度学习模型是一种解决深度学习瓶颈的思路。浅层语义是一种有效的常识知识提取和表达方式，因此研究集成浅层语义的深度学习具有重要的理论价值和研究意义。

发明内容

本发明提供了一种集成浅层语义表示向量的深度学习文本分类方法SEV-CNN(Semantic Embedding Vector Convolutional Neural Network)，其克服了基于大数据驱动的词向量表达缺少词法特征和知识表示，难以真正理解词汇语义信息的缺陷。

本发明解决其技术问题所采用的技术方案是：

一种集成浅层语义表示向量的深度学习文本分类方法，包括以下步骤：

S1：输入文本语料，采用结巴分词工具对语料进行分词；

S2：基于步骤S1中得到的词语，利用word2vec工具生成每一个词q_i的词向量表达L_w；

S3：基于浅层语义词汇Dict，生成每一个词q_i的浅层语义向量表达S_c；

S31：从以下八个方面来挖掘行业词汇从而构建浅层语义词典：(1)开源词典D_open；(2)否定副词词典D_not；(3)程度副词词典D_adv；(4)网络词典D_net；(5)符号词典D_emoticon；(6)语气词词典D_mood；(7)领域词典D_profession；(8)其他包括手工构建的词典D_other。

S32：构建浅层语义向量Sc＝(x_open，x_not，x_adv，x_net，x_emoticon，x_mood，x_profession，x_other)，区别于L_w中每个x_i表示一个单独的元素，S_c中每个x_i并不表示单个元素而是可能包含多个元素，其元素个数由对应词典规模大小决定。以x_open为例，其对应开源词典D_open，若词典D_open的规模为3，则x_open是一个3维的one-hot向量。

S4：将word2vec词向量表达L_w和浅层语义向量表达S_c进行加权拼接，生成深度学习输入向量[L_w：S_c]；