[发明专利]一种基于词间依赖的生成式文本信息隐藏检测方法及系统

权利要求书

1.一种基于词间依赖的生成式文本信息隐藏检测方法，所述方法包括：

对待检测的文本信息进行预处理；

将预处理后的文本映射为分布式嵌入向量；

将分布式嵌入向量输入预先建立和训练好的文本信息隐藏检测模型，得到待检测文本中是否包含秘密信息的决策；

所述文本信息隐藏检测模型基于词间依赖注意力机制和聚合依赖特征，通过全局加权推理实现。

2.根据权利要求1所述的基于词间依赖的生成式文本信息隐藏检测方法，其特征在于，所述对待检测的文本信息进行预处理；具体包括：对待检测的文本信息采用填充或丢弃操作，将文本段中所含单词数规整为预先设定的长度。

3.根据权利要求2所述的基于词间依赖的生成式文本信息隐藏检测方法，其特征在于，所述将预处理后的文本映射为分布式嵌入向量；具体包括：

读取预处理后的文本，对包含k个单词的输入文本分别进行静态分布式嵌入映射和动态分布式嵌入映射，得到每一段文本对应的长度均为l的静态分布式嵌入向量E_s以及动态分布式嵌入向量E_d，将两个分布式嵌入向量逐点相加得到嵌入向量E。

4.根据权利要求3所述的基于词间依赖的生成式文本信息隐藏检测方法，其特征在于，所述文本信息隐藏检测模型包括串联的词间依赖提取模块和全局加权推理模块；其中，

所述词间依赖提取模块，用于提取文本单词间的显式词间依赖特征和潜在词间依赖特征，并进行依赖融合；

所述全局加权推理模块，用于综合利用提取到的文本中的词间依赖特征，得出当前文本段中是否包含秘密信息的决策。

5.根据权利要求4所述的基于词间依赖的生成式文本信息隐藏检测方法，其特征在于，所述词间依赖提取模块为显式依赖注意力模块和潜在依赖注意力模块经并联后连接词间依赖特征融合模块，所述词间依赖提取模块的处理过程具体包括：

嵌入向量E通过显式依赖注意力模块进行显式词间依赖提取，得到显式依赖特征f_e，同时嵌入向量E通过潜在依赖注意力模块进行潜在词间依赖提取，得到潜在依赖特征f_l，f_e和f_l通过词间依赖特征融合模块进行交叉融合处理，得到融合后的依赖特征f_c。

6.根据权利要求4所述的基于词间依赖的生成式文本信息隐藏检测方法，其特征在于，所述全局加权推理模块包括依次串联的特征位置注意力模块、区域卷积模块、词间卷积模块和线性决策模块；所述全局加权推理模块的处理过程具体包括：

对融合后的依赖特征f_c通过特征位置注意力机制进行特征位置优化选择，经信息聚合、拼接以及增加注意力权重系数，得到加权后的特征映射F_W；将F_W依次通过区域卷积模块和两个权值共享的词间卷积模块得到局部加强后的特征F_L，再通过线性决策模块进行高层抽象特征向输出层输出结果的特征映射及归一化处理，得到是否包含秘密信息的分类结果。

7.根据权利要求6所述的基于词间依赖的生成式文本信息隐藏检测方法，其特征在于，所述特征位置注意力模块为平均池化和最大池化经并联后依次连接不同核大小的卷积层以及softmax激活函数层，再将softmax激活函数层的输出与特征位置注意力模块的输入端逐点相乘。

8.根据权利要求6所述的基于词间依赖的生成式文本信息隐藏检测方法，其特征在于，所述线性决策模块包括依次连接的全连接层和Sigmoid函数；其中，

所述全连接层包括两个神经元，用于实现高层抽象特征向输出层输出结果的特征映射；

所述Sigmoid函数，用于进行归一化处理，得到输入文本中是否包含秘密信息的分类结果。