[发明专利]多模态信息融合广播电视新闻关键词与摘要联合抽取方法

说明书

本发明提供一种多模态信息融合广播电视新闻关键词与摘要联合抽取方法，包括：A、收集广播电视新闻文本并获取关键词和摘要，构建广播电视新闻关键词与摘要联合抽取数据集；B、构建田字格字形图像库；C、构建并训练多模态信息融合广播电视新闻关键词与摘要联合抽取模型；D、利用训练好的构建多模态信息融合广播电视新闻关键词与摘要联合抽取模型构建三阶段广播电视新闻关键词与摘要联合抽取系统，以对输入的广播电视新闻文本进行关键词和摘要抽取。本发明将关键词和摘要作为联合任务将有助于信息共享与特征融合，并结合田字格字形图像能够提升关键词和摘要的抽取效果。

技术领域

本发明涉及新闻文本内容信息抽取技术领域，具体而言，涉及一种多模态信息融合广播电视新闻关键词与摘要联合抽取方法。

背景技术

近年来融合媒体时代，爆炸式增长的视频数据给媒体资源的再利用带来了巨大的挑战，节目的编目、标引的实时性要求相应变得更高。利用大数据和人工智能技术，对媒体内容进行多个维度的自动分类、标识、标引，实现媒体资源本身的内容标签的自动提取，提升编目质量和工作效率具有重要意义。这是媒体数据资料管理从传统的人工编目逐步转换到依托智能化管理平台的自动编目的支撑基础。

关键词与摘要作为新闻内容的重要信息载体，非常有助于新闻信息的快速传播。通过分析相关视频内容数据以及专业人员给出的关键词结果，发现关键词并非是词而可能是词、短语或多字，如十二五计划、三农问题、新型冠状病毒、三公消费禁令、高端白酒等。现有依赖于传统方法和基础神经网络模型的方法并不能正确捕捉关键词的语法特征和句法结构特征。单纯依靠文本信息无法刻画中文文字特有的象形字符特征，从而影响关键词的提取效果。

发明内容

本发明旨在提供一种多模态信息融合广播电视新闻关键词与摘要联合抽取方法，以解决上述存在的技术问题。

本发明提供的一种多模态信息融合广播电视新闻关键词与摘要联合抽取方法，包括如下步骤：

A、收集广播电视新闻文本，从广播电视新闻文本中获取关键词和摘要，采用获取的关键词和摘要构建广播电视新闻关键词与摘要联合抽取数据集；

B、构建包含中文字符、英文字符和中英文标点的田字格字形图像库；

C、利用预训练模型和注意力机制，基于深度学习技术融合图像与文本语义信息，构建多模态信息融合广播电视新闻关键词与摘要联合抽取模型，并采取多任务学习方法，利用广播电视新闻关键词与摘要联合抽取数据集和田字格字形图像库训练构建的多模态信息融合广播电视新闻关键词与摘要联合抽取模型；

D、利用训练好的构建多模态信息融合广播电视新闻关键词与摘要联合抽取模型构建三阶段广播电视新闻关键词与摘要联合抽取系统，利用构建的三阶段广播电视新闻关键词与摘要联合抽取系统对输入的广播电视新闻文本进行关键词和摘要抽取。

进一步的，步骤A包括如下子步骤：

A1，通过广播电视新闻栏目获取广播电视新闻文本，将广播电视新闻文本的数据量记为N；

A2，根据中文语句分割符号对每一条广播电视新闻文本进行分句，将分句后当前广播电视新闻文本包含的句子数量记为K_n，其中，n=1,2,…,N；

A3，对分句后的广播电视新闻文本，采用人工标注的方式获取每一条广播电视新闻文本的关键词和摘要；

A4，采用获取的关键词和摘要构建广播电视新闻关键词与摘要联合抽取数据集。

进一步的，步骤A3中采用人工标注的方式获取每一条广播电视新闻文本的关键词和摘要的方法包括如下子步骤：

A3-1，对第n条广播电视新闻文本中的第k_n句文本进行判断，若第k_n句文本是当前广播电视新闻文本的摘要，记，否则记；