[发明专利]基于强化学习和胶囊网络的文本分类模型及方法

权利要求书

1.基于强化学习和胶囊网络的文本分类模型，其特征在于，包括强化学习的框架与胶囊网络的框架；采用强化学习来学习胶囊网络层之间的路由关系，采用胶囊网络融合语序和结构的信息，在胶囊网络中通过神经网络对融合的信息进行解析，得到多标签的分类结果；

强化学习的框架包括：

State：表示当前的状态，该状态包含Agent所处的环境和自身状态；

Action：表示Agent的行动，该行动表示胶囊层之间的是否连接，或者连接概率；

Reward：表示Agent获得的奖励，分为即时奖励和未来的奖励；

胶囊网络的框架包括以下步骤：

S1.将原始的raw text经过分词或者分字，再经过一个查询表转换成embedding形式的字或者词；

S2.将embedding形式的字或者词根据TextCNN的方法得到卷积后的Primary Capsule；

S3.将Primary Capsule经过Routing后与下一层Capsule Layer连接，随后与FullConnect Network连接，输出不同的标签的概率大小；

S4.经过BP算法修改Full Connect Layer的权重大小，以及Embedding层中查询表的各个词的表示向量。

2.根据权利要求1所述的基于强化学习和胶囊网络的文本分类模型的方法，其特征在于：所述的步骤S1中，具体过程是：

S11.先根据已有的word embedding来初始化查询表，其中embedding的矩阵深度为300，对于没有出现过的单词的embedding向量则置为0或者0-1之间的随机数；

S12.然后通过搜寻的方式，对于raw text中的每一个词或者每一个字转换成embedding的格式，相应的，raw text每一句就转换成了long*300形式的矩阵。

3.根据权利要求2所述的基于强化学习和胶囊网络的文本分类模型的方法，其特征在于：所述的步骤S2中，具体过程是：

S21.对于long*300的矩阵，用kernel size分别为3*300，4*300，5*300的卷积核卷积得到对应的特征向量，每一种kernel size的数量为32个；

S22.用kernel size分别为3*300，4*300，5*300的卷积核卷积得到对应的特征向量，每一种kernel size的数量为32个，生成的Vector_Size*32，经过一个32*32*16的转换矩阵，得到VS*32*16的Primary Capsule，其中Capsule的维度是16。

4.根据权利要求3所述的基于强化学习和胶囊网络的文本分类模型的方法，其特征在于：所述的步骤S3中，具体过程是：

S31.根据S22得到的VS*32*16的Primary Capsule，将Capsule Layer设定32*16*16的Capsule Layer，包括16个filters；

S32.将VS*32*32*16的权重矩阵值设为强化学习中的State，每一次action修改State中的权重值；

S33.根据权重矩阵计算得到32*16*16的Capsule Layer，将其展开通过一个FullConnect的神经网络，再通过一个Softmax层，得到不同的标签的概率大小；

S34.根据得到不同的标签的概率大小与正确结果相比，得到的loss value作为强化学习中的Reward，利用A3C算法改进S32中的权重矩阵。