[发明专利]一种视频中数字时钟的识别方法

说明书

技术领域

本发明属于信息识别及视频分析领域，尤其涉及一种视频中数字时钟的识别方法。

背景技术

数字时钟识别是体育视频以及监护视频分析中十分重要的一个内容。在视频分析中，时间信息不仅可以作为元数据用于视频索引及标注，同时也是实现多模态内容同步(如体育视频中同一事件对应的视频、音频、文本信息)的重要参照信息。利用数字时钟识别技术，我们可以更好地对视频中的事件进行检测和分析，例如在足球视频分析中可以将比赛日志中提供的事件发生时间与视频中的比赛时间进行同步，从而在更短的时间内更准确地检测比赛事件；数字时钟识别技术同样可以帮助我们定位监护视频中特定的时刻对应的片断，从而能够更方便地对监护状况进行分析；在篮球比赛中数字时钟能够反映比赛状态是进行中还是中断状态，因此对篮球视频中的时钟进行识别也可以很好地帮助我们进行篮球比赛事件的检测和分析。

目前数字时钟识别主要有以下几种技术：

1、OCR

即直接获取图像中的数字图像，然后利用OCR(Optical CharacterRecognition)技术对其进行识别。但是由于视频中的数字时钟往往分辨率很低，而且伴随有噪声和变形，因此直接利用OCR进行数字识别的准确率无法满足要求。同时OCR技术需要利用字符的局部特征匹配来进行识别，因此在速度上也无法满足视频分析的要求。

2.基于图像处理的数字时钟识别方法

这一类方法首先检测视频中的静态区域(static region)，从中确定时钟区域，然后提取时钟区域中的连通域，并根据时钟数字的变化特点找出数字区域。然后对单个数字或数字序列进行匹配识别。这样的方法存在以下不足：

1)由于主要采用的是图像处理相关技术而没有充分利用时钟数字变化的规律，所以这种方法对于时钟位置的定位的效率较低，且易于出错。具体来说就是一方面视频中数字时钟区域的位置及大小并没有一个较为固定的规律可供参考，同时视频中的logo也会对时钟区域的检测产生干扰；另一方面在记分牌上也可能会有许多与时钟数字大小差不多的区域。这两点增加了基于图像处理的数字区域查找方法得出错误结果的可能性，同时由于要专门考虑如何排除这些干扰区域，从而也会限制数字区域查找的效率。

2)由于视频中的时钟数字分辨率较低，因此会导致某些形状相似的数字分辨起来极其困难，如8、9、0，5、6等。这就意味着如果仅仅对单个数字进行模板识别，那么识别的鲁棒性会较低。

发明内容

本发明的目的在于提供一种视频中数字时钟的识别方法，该方法利用数字时钟本身变化规律来进行识别，提高了识别速率、准确度和鲁棒性。

一种视频中数字时钟的识别方法，具体为：

(1)秒位数字粗选区域的初步定位：在视频帧流中，确定满足秒钟数字变化周期性的秒位转换帧F及该帧F内的潜在秒位像素点，按照潜在秒位像素点的分布密度和面积越大则为秒位数字粗选区域的可能性越大的原则选取秒位数字粗选区域；所述秒钟数字变化的周期性是指秒位数字在某一帧发生变化，而在之前及之后的R帧都保持不变，R为视频的每秒传输帧数；

(2)四个时钟数字区域的准确定位：首先依据预定的时钟数字颜色和背景色在秒位数字粗选区域进一步精准确定秒位数字区域，再以秒位数字区域为基准，结合时钟数字颜色和背景色以及四个时钟数字间的位置和大小关系确定余下的十秒位、分位和十分位三个时钟数字区域；

(3)秒位数字的识别：预先构建0～9的数字序列模板，在视频帧流中标识11个连续的秒位转换帧，每两相邻秒位转换帧内任意提取一视频帧的秒位数字区域构成秒位待匹配视频帧序列，将秒位待匹配视频帧序列与0～9的数字序列模板进行匹配，从而识别视频帧的秒位数字；

(4)十秒位数字的识别：预先构建0～5的数字序列模板，在步骤(3)的识别结果中找到秒位数字为0的零秒视频帧，在视频帧流中标识6个连续的零秒视频帧，每两相邻零秒视频帧内任意提取一视频帧的十秒位数字区域构成十秒位待匹配视频帧序列，将十秒位待匹配视频帧序列与0～5的数字序列模板进行匹配，从而识别视频帧的十秒位数字；

(5)分钟和十分钟位数字的识别：利用步骤(3)识别出秒位数字的视频帧作为样本训练得到分类器，利用分类器分别对视频帧的分钟数字区域和十分钟数字区域进行分类，从而识别视频帧的分钟和十分钟数字。

进一步地，所述步骤(1)具体为：

(11)在视频帧中提取连续10秒的10*R帧，搜索其中每一帧z的潜在转换像素q，所述第i帧中的潜在转换像素q满足条件：