[发明专利]基于单层网络结构学习上下文信息的方法及系统

权利要求书

1.一种基于单层网络结构学习上下文信息的方法，其特征在于，包括：

获取文本信息，并将每个句子分成目标单词、上文和下文这三部分，对目标单词、上文和下文分别进行向量表示；

基于目标单词、上文和下文向量表示及第一门控结构，建立目标单词及其上下文之间的关系；

基于第二门控结构从目标单词及其上下文之间的关系中提取语义特征，并通过加权形式来形成最终的文本表示；其中，第一门控结构和第二门控结构均包含单词-上下文注意力机制。

2.如权利要求1所述的基于单层网络结构学习上下文信息的方法，其特征在于，将目标单词的上文压缩为第一固定长度的向量。

3.如权利要求2所述的基于单层网络结构学习上下文信息的方法，其特征在于，使用FOFE算法将目标单词的上文压缩为第一固定长度的向量。

4.如权利要求1所述的基于单层网络结构学习上下文信息的方法，其特征在于，将目标单词的下文压缩为第二固定长度的向量。

5.如权利要求4所述的基于单层网络结构学习上下文信息的方法，其特征在于，使用FOFE算法将目标单词的下文压缩为第二固定长度的向量。

6.如权利要求1所述的基于单层网络结构学习上下文信息的方法，其特征在于，所述语义特征通过attention层将所有语义特征对应的表示向量通过加权形式压缩成固定长度的向量。

7.如权利要求1所述的基于单层网络结构学习上下文信息的方法，其特征在于，通过FCSR算法生成目标单词的向量表示。

8.一种基于单层网络结构学习上下文信息的系统，其特征在于，包括：

向量表示模块，其用于获取文本信息，并将每个句子分成目标单词、上文和下文这三部分，对目标单词、上文和下文分别进行向量表示；

关系建立模块，其用于基于目标单词、上文和下文向量表示及第一门控结构，建立目标单词及其上下文之间的关系；

文本表示模块，其用于基于第二门控结构从目标单词及其上下文之间的关系中提取语义特征，并通过加权形式来形成最终的文本表示；其中，第一门控结构和第二门控结构均包含单词-上下文注意力机制。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的基于单层网络结构学习上下文信息的方法中的步骤。

10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的基于单层网络结构学习上下文信息的方法中的步骤。