[发明专利]一种胶囊内镜视频摘要生成方法

说明书

本发明提出一种基于显著图的胶囊内镜视频摘要生成方法，具体包括以下步骤：首先，进行图像预处理，去除图像无效区域；针对预处理后的胶囊内镜图像，提出一种显著图提取算法，得到感兴趣区域；然后，提取感兴趣区域的颜色特征和纹理特征，高斯归一化，并进行特征融合；最后，根据融合特征的欧氏距离进行帧间差测定，分别进行突变检测和渐变检测，得到关键帧，形成视频摘要。本发明用于胶囊内镜视频摘要生成，有效地减轻了阅片医生的劳动强度，提高了诊断效率。

技术领域

本发明属于计算机人工智能和视频处理领域，具体来说，涉及一种胶囊内镜视频摘要生成方法。

背景技术

消化道疾病，如肿瘤、溃疡和出血等极大地威胁着人体的健康。传统的消化道检查方式对人体有着不同程度的损伤，且无法对小肠部位进行检查。胶囊内镜，是一种新型的消化道疾病检测技术。患者吞服胶囊，胶囊利用胃肠蠕动提供的动力向前运动，并对人体消化道进行连续拍摄，拍摄的视频由阅片医生进行检查与诊断。检测过程无痛苦，且能对整个消化道进行诊断。

胶囊内镜扩展了消化道检查的视野，克服了传统消化道疾病检查的缺陷，成为消化道疾病尤其是小肠疾病诊断的首选方法。但是，由于胶囊内镜在整个检测过程中会产生约55000张胶囊内镜图像，医生一般需要2小时才能完成一个完整病例的诊断。数量庞大的视频数据限制了无线胶囊内镜的广泛应用，因此寻找一种快速筛选机制，使得医生在不必浏览全部视频的前提下，自动提取携带医生感兴趣信息的视频图像供医生进一步诊断，对于减轻医生诊断负担，提高医生的诊断效率十分重要。

视频摘要就是一种精炼视频的有效方法。视频摘要是对视频的结构和内容进行分析，从原始视频中提取出有意义的内容，并将其以设定的方式重新组合，形成简洁、能充分表现视频语义内容的概要，同时可也作为原始视频文件的索引，以供用户快速寻找每个事件的具体信息。因此，本发明提出一种基于感兴趣区域帧检测的胶囊内镜视频摘要生成方法，利用该方法对无线胶囊内镜视频进行处理，快速筛选出视频中可能含有医生感兴趣信息的图像。

发明内容

本发明针对胶囊内镜视频，提出一种基于感兴趣区域的帧检测视频摘要方法。

首先，对胶囊内镜视频图像进行预处理，去除黑色边界影响，如图2所示；然后，提取预处理后的胶囊内镜图像的感兴趣区域；最后，提取图像感兴趣区域的颜色特征和纹理特征，并特征融合，利用融合特征欧氏距离进行帧间差测量，选取关键帧，得到胶囊内镜视频摘要。具体操作流程如下：

1.图像预处理

利用胶囊内镜采集到的图像都有一个黑色边界区域，该区域不包含对研究有价值的信息。因此，为了排除这个区域对后续步骤的干扰，对胶囊内镜图像进行去除黑色边界的预处理操作。

2.预处理后感兴趣区域提取

对于胶囊内镜视频图像来说，医生只对图像中的部分区域感兴趣，这部分感兴趣区域代表了医生的审阅意图，而多数剩余的不感兴趣区域则与医生的审阅意图无关。显著区域是图像中最能引起人们兴趣、最能表现图像内容的区域。基于此，本发明以人的注意力机制为基础，提取胶囊内镜图像预处理后的感兴趣区域。

感兴趣区域提取即图像显著图提取，分为四个主要步骤：首先，利用输入图像构造高斯金字塔；然后，提取高斯金字塔各层特征；其次，利用提取的各层图像特征生成特征图；最后进行特征图融合，得到图像显著图。具体步骤如下：

(1)构造高斯金字塔

先将输入图像表示成9层的高斯金字塔，分别为第0层到第9层。其中，第0层是输入图像，第1到8层分别由5*5的高斯滤波器对输入图像进行滤波和采样形成，大小分别为输入图像的1/2到1/256。

(2)提取图像金字塔各层特征

针对胶囊内镜图像特点，本发明提取了图像高斯金字塔各层的亮度信息、颜色信息、方向信息与纹理信息。