[发明专利]多模态信息融合广播电视新闻关键词与摘要联合抽取方法

权利要求书

1.一种多模态信息融合广播电视新闻关键词与摘要联合抽取方法，其特征在于，包括如下步骤：

A、收集广播电视新闻文本，从广播电视新闻文本中获取关键词和摘要，采用获取的关键词和摘要构建广播电视新闻关键词与摘要联合抽取数据集；

B、构建包含中文字符、英文字符和中英文标点的田字格字形图像库；

C、利用预训练模型和注意力机制，基于深度学习技术融合图像与文本语义信息，构建多模态信息融合广播电视新闻关键词与摘要联合抽取模型，并采取多任务学习方法，利用广播电视新闻关键词与摘要联合抽取数据集和田字格字形图像库训练构建的多模态信息融合广播电视新闻关键词与摘要联合抽取模型；

D、利用训练好的构建多模态信息融合广播电视新闻关键词与摘要联合抽取模型构建三阶段广播电视新闻关键词与摘要联合抽取系统，利用构建的三阶段广播电视新闻关键词与摘要联合抽取系统对输入的广播电视新闻文本进行关键词和摘要抽取。

2.根据权利要求1所述的多模态信息融合广播电视新闻关键词与摘要联合抽取方法，其特征在于，步骤A包括如下子步骤：

A1，通过广播电视新闻栏目获取广播电视新闻文本，将广播电视新闻文本的数据量记为N；

A2，根据中文语句分割符号对每一条广播电视新闻文本进行分句，将分句后当前广播电视新闻文本包含的句子数量记为K_n，其中，n=1,2,…,N；

A3，对分句后的广播电视新闻文本，采用人工标注的方式获取每一条广播电视新闻文本的关键词和摘要；

A4，采用获取的关键词和摘要构建广播电视新闻关键词与摘要联合抽取数据集；

步骤A3中采用人工标注的方式获取每一条广播电视新闻文本的关键词和摘要的方法包括如下子步骤：

A3-1，对第n条广播电视新闻文本中的第k_n句文本进行判断，若第k_n句文本是当前广播电视新闻文本的摘要，记，否则记；

A3-2，对第n条广播电视新闻文本中的第k_n句文本，采用BIO规则进行关键词标注，得到对第n条广播电视新闻文本中的第k_n句文本的关键词标注向量，其中，M_nk为第n条广播电视新闻文本中的第k_n句文本的字符数量；

A3-3，遍历第n条广播电视新闻文本的全部K_n句文本执行步骤A3-1～步骤A3-2，得到第n条广播电视新闻文本的摘要标注向量和关键词标注向量；

A3-4，遍历全部N条广播电视新闻文本执行步骤A3-3，得到广播电视新闻文本的摘要标注向量列表和关键词标注向量列表；该摘要标注向量列表和关键词标注向量列表即为构建广播电视新闻关键词与摘要联合抽取数据集需要的关键词和摘要。

3.根据权利要求2所述的多模态信息融合广播电视新闻关键词与摘要联合抽取方法，其特征在于，步骤B包括如下子步骤：

B1，获取所有中文字符、英文字母和中英文标点的文本数据，构建字符库Z，将字符库Z中的字符数量记为J；

B2，在字符库Z中增加[UNK]作为未知字符的代表，记为第J+1个字符，从而得到最终的字符库Z^*；

B3，对字符库Z^*中的第j个字符Z_j，将字符Z_j以宋体字体、黑色颜色的格式放置于100像素×100像素的纯白色背景图像中，并放缩到上、下、左、右的边距均为10像素，由此生成字符Z_j的田字格字形图像G_j；

B4，遍历字符库Z^*中的所有字符并执行步骤B3，最终生成字符库Z^*中所有字符的田字格字形图像库。

4.根据权利要求3所述的多模态信息融合广播电视新闻关键词与摘要联合抽取方法，其特征在于，步骤C中构建的多模态信息融合广播电视新闻关键词与摘要联合抽取模型包括：文本字形表示模块、文本字符编码模块、字符语义融合模块、字符上下文融合模块、字形上下文融合模块、切片融合特征模块、上下文语义注意力融合模块、关键词抽取模块和摘要抽取模块。