[发明专利]基于表示分类网络的变长文本语义识别方法

说明书

本发明公开了一种基于表示分类网络的变长文本语义识别方法，该方法包括：数据采集，将语料库中的文本进行分词处理，并标定语义类别；建立表示分类网络；训练表示分类网络；输入新文本数据；输入表示网络；输出文本语义分类。通过该方法，达到了：对于一段新文本，算法无需人工进行特征工程训练，只需文本向量就可以得到其文本语义标签，节约了人力；算法可以学到语义表达空间的模式，对文本预处理如分词、标定工作要求低；新增语义类别无需重新训练。

技术领域

本发明涉及自然语言处理技术领域，具体来说，涉及一种基于表示分类网络的变长文本语义识别方法。

背景技术

1.词的量化表示

Word2Vec模型

受Bengio提出的NNLM（Neural Netowrk Language Model）启发，Mikolov等提出了Word2Vec模型。它与NNLM的区别在于NNLM是一个语言模型，词向量只是“副产品”，而Word2Vec模型就是用于获取词向量的词嵌入模型。

Word2Vec主要有CBOW和Skip-gram两种模型，其中CBOW模型利用词W_t的前后各C个词来预测当前词，如图2（a）所示；Skip-gram模型是利用W_t预测其前后各C个词，如图2（b）所示。

在CBOW模型中，输入层是词W_t的前后2_C个one-hot词向量，投影层将这2_C个词向量累加求和，输出层是一颗以训练数据中所有的词作为叶子节点，以各词在数据中出现的次数作为权重的Huffman树。最后应用随机梯度上升法预测投影层的结果作为输出。Skip-gram模型类似。当获得所有词的词向量后，可发现类似这样的规律；“king”-“man”+“woman”=“queen”，可见词向量有效表达了词语的语义信息。

2.神经网络

神经网络是一种基于人类思维模式的真实神经元系统建模，在解决不同科学学科和图像处理、主题识别、控制系统、机器人等领域的问题中有很多应用。这些网络的应用范围很广，包括分类、插值近似、检测等，具有易于应用的能力优势。神经网络计算的基础是人类大脑特征在某种意义上的建模，其灵感将导致尝试根据可观察数据制定输入和输出变量之间的关系。神经网络的一般模式包括：1）确定神经元的元素中的过程；2）通过它们的互连进行数据交互；3）这些连接中的一个具有加权到从神经元传递到另一个的数据中的权重，权重是解决问题的必要数据；4）每个神经元对其输入强加一个激活函数来计算输出。神经网络的分类如图3所示。

现有方法主要通过词向量转换的方法将文本分词转化成词向量，再通过加权平均法计算文本向量，最后通过训练神经网络对文本向量进行分类。因此存在以下缺点：

（1）方法需要人工对每段文字进行大量特征提取，分时费力；

（2）特征提取只能得到离散结果，可以无限接近文本语义，但无法得到明确表达或连续表达形式，当需要分析离散点以外的信息时只能插值替代，存在较大误差；

（3）采用特征提取的方法无法解决本质问题，即新文本的语义识别问题。

发明内容

针对相关技术中的上述技术问题，本发明提出一种基于表示分类网络的变长文本语义识别方法，能够克服现有技术的上述不足。

为实现上述技术目的，本发明的技术方案是这样实现的：

一种基于表示分类网络的变长文本语义识别方法，该方法包括：

S1：数据采集，将语料库中的文本进行分词处理，并标定语义类别；

S2：建立表示分类网络，其中，分类网络输入的为文本向量，输出的为语义标签；

S3：训练表示分类网络；