[发明专利]一种用于众测任务发布的文本摘要与图文检索生成方法

权利要求书

1.一种用于众测任务发布的文本摘要与图文检索生成方法，其特征在于，包括如下步骤：

步骤1，数据采集：获取真实众测场景任务发布中的相关数据，包括任务发布的相关描述文档、任务发布涉及的相关图片数据库；

步骤2，数据预处理：对任务发布的相关描述文档、任务发布涉及的相关图片进行整理和清洗，得到预处理后的任务文档；

步骤3，使用预处理后的任务文档，通过基于图的抽取型摘要提取方法生成完整的任务文本摘要；

步骤4，图文检索，根据步骤3得到的任务文本摘要，提取关键词信息并在图像数据库中检索任务图片；

步骤5，图像融合生成阶段，根据步骤4中检索的任务图片，使用泊松融合方法融合生成为全新的任务图片。

2.根据权利要求1所述用于众测任务发布的文本摘要与图文检索生成方法，其特征在于：所述步骤2中对数据进行整理和清洗方法：

步骤2a)，针对生成文本摘要的相关文档进行文本预处理，对单个或多个文档进行整合，得到的文本数据以句子为单位进行分割，进行文本清洗，整理并保存；

步骤2b)，针对获取到的文本摘要进行处理，提取相关关键字，为后续图文检索提供输入；

步骤2c)，针对获取到的图像检索数据集进行相关处理并保存，数据集来自网络；

步骤2d)，针对获取到的图片进行预处理，用于后续的图像融合。

3.根据权利要求2所述用于众测任务发布的文本摘要与图文检索生成方法，其特征在于：所述步骤3中过基于图的抽取型摘要提取方法生成完整的任务文本摘要的方法：

步骤3a)，根据预处理后的任务文档中的文本数据使用BERT预训练中文模型获取预处理的文本数据中的句子向量；

步骤3b)，使用步骤3a)中获得的句子向量利用余弦相似度计算句子间的相似度，并得到相似度矩阵；

步骤3c)，根据得到的句子向量和相似度矩阵，以句子向量嵌入为节点相似度得分为边权重，转换得到节点连接图；对节点连接图应用PageRank改进方法，使用G＝(V,E)表示有向图，使用句子向量代替网页节点V，相似度矩阵代替PageRank方法中的链接图阵边集E，对于一个给定的点V_i，In(V_i)为指向该点的点集合，Out(V_j)为点V_j指向的点集合；WS(V_i)表句子V_i的权重，W_ji表示两个句子的相似性，WS(V_j)表示上次迭代出的句子V_j的权重，d为阻尼系数，计算得到句子的相似性得分；

步骤3d)，获取排名前的句子，并进行微调整得到最终任务文本摘要。

4.根据权利要求3所述用于众测任务发布的文本摘要与图文检索生成方法，其特征在于：所述步骤4中提取关键词信息并在图像数据库中检索任务图片方法：

步骤4a)，基于步骤3提取的任务文本摘要，使用TF-IDF方法提取三个相关主题关键词；

步骤4b)，收集相关图片数据库，图片数据库按照标签分类，标签由常见众测任务或者是任务具体场景组成；

步骤4c)，使用步骤4a)中提取的关键词使用GloVe工具获取词向量表示，同图片数据库中的标签向量表示进行相似度匹配，筛选合适的三张任务图片；

步骤4d)，对步骤4c)中检索到的图片进行质量指标分析，筛选质量最高的两张图片，去除低质量图片。

5.根据权利要求4所述用于众测任务发布的文本摘要与图文检索生成方法，其特征在于：步骤5中使用泊松融合方法融合生成为全新的任务图片方法，

步骤5a)，将待融合的两张检索任务图片进行划分，分为源图和目标图，图像融合的过程则是将源图中的感兴趣区域放入目标图中，进行融合生成一张全新的图片；融合过程会改变源图像中颜色和梯度，达到无缝融合效果；在源图像中划分出感兴趣区域，使用掩码mask计算一个外接矩形框，矩形框的中心点P，对应为目标图像的放置位置中心点；

步骤5b)，分别计算源图像待融合区域和目标图像的梯度场，将源图像待融合区域和目标图像的梯度场直接覆盖后，计算融合图像的梯度场；

步骤5c)，求解融合图像的散度：根据源图像待融合区域和目标图像的梯度场对梯度在x和y方向上求偏导，继而获得散度；

步骤5d)，构建泊松方程，求解泊松方程组：根据用户指定的边界条件求解泊松方程，达到梯度域上的连续，从而使得融合边界更合理；使用Ω表示目标图像合并后被覆盖掉的区域，表示覆盖区域边界，Ω内的像素函数由f表示，外面的像素函数由f*表示；需要满足的两个条件为合并后的图像看上去尽可能的平滑，没有明显的边界，Ω内的梯度值小于阈值；图像仍能维持原图像的纹理信息；求解泊松方程组：Ax＝b，A是构建的系数矩阵，b是求得的散度，x是融合图像的像素值，求解得到x之后就能重建融合图像；

步骤5e)得到图像融合的结果，生成全新的任务图片。