[发明专利]一种基于主题引导的生成式文本隐蔽通信方法

权利要求书

1.一种基于主题引导的生成式文本隐蔽通信方法，其特征在于，具体操作步骤如下：

步骤1：将数据集中每段文本T按照整句分割，对每个句子构建候选主题词图，计算图中每个节点的权重，提取出每段文本的主题词[K₁,K₂,...,K_k]；

步骤2：构建语言模型：

步骤2.1：按照公式(1)，对输入单词x_i进行编码，其中，wte和wpe分别是词嵌入矩阵和位置编码矩阵，pos是单词在句子中的位置，d是词向量维度；

步骤2.2：计算每个词的综合注意力向量z_i；按公式(2)，计算每个输入单词Emb(x_i)的查询向量q_i，被查询信息与其他信息的相关性向量k_i，被查询信息向量v_i；

对于每个单词，计算其他信息和其的相关性程度得分[s₁,s₂,...,s_n]＝q_i[k₁,k₂,...,k_n]，对于每个q_i，除了主题词所对应位置的得分之外，将其从第i+1到句子结尾n的得分置为负无穷大，再对得分进行归一化，最后得到每个词的综合注意力向量

步骤2.3：计算损失，训练模型：

将每个输入单词x_i按照步骤2.2计算综合注意力向量z_i，并经过层归一化和前馈网络，得到预测值，比对预测值和真实值计算出损失，迭代训练降低损失至收敛，得到构建好的语言模型；

步骤3：根据构建好的模型，生成含密文本；

首先，发送方将秘密信息b_i∈{0,1},i＝1,2,...,N，用游程编码编码成m＝N₀0N₁1...,N₀,N₁∈[1,9]格式，再将k个主题词[K₁,K₂,...,K_k]编码成词向量，根据余弦相似度对主题词进行扩展，采用k-means方法对主题词进行聚类，获得三个主题词组G₁、G₂和G₃其中，G₁生成的文本用于隐藏信息“0”，G₂生成的文本用于隐藏信息“1”，G₃生成的文本用于隐藏“0”和“1”顺序；具体操作如下：

分别将三组主题词编码，并求得平均词向量作为模型输入，经过模型计算，G₁和G₂组取出概率最高的10个词作为候选单词，G₃组取出概率最高的3个词作为候选单词，并按概率从大到小排序，按两位读取m的数据，若第二位的值为0，则将第一位的值N₀取出，从根据G₁得到的10个候选词中的第N₀+1个替代第一个，从根据G₃得到的3个候选词中的第二个替代第一个，再将第一个词作为模型的输入计算下一步的候选单词；

若第二位的值为1，则将第一位的值N₁取出，从根据G₂得到的10个候选词中的第N₁+1个替代第一个，从根据G₃得到的3个候选词中的第三个替代第一个，直到隐藏完m，模型继续生成文本，每次选取概率最大词作为预测词直到遇到停止标识符；

步骤4：发送方将生成的含密文本和训练好的模型参数发送给接收方；

步骤5：接收方根据主题词组按照步骤3得到三类主题词组G₁、G₂和G₃，并根据模型参数搭建好语言模型，根据步骤3计算出模型输入，根据G₁得到的文本与含密文本对比解码出N₀0，根据G₂得到的文本与含密文本对比解码出N₁1，根据G₃得到的文本与含密文本对比解码出它们的顺序，并拼接成消息序列m，再将m解码成秘密信息b，实现基于主题引导的生成式文本隐蔽通信。