[发明专利]一种基于语义指导的自然场景下屏幕区域检测方法

说明书

本发明针对在自然场景下定位屏幕位置，且基于全卷积网络(Fully Convolutional Network)的边缘检测技术生成的屏幕边缘粗糙等问题，研究并提出一种基于语义指导的自然场景下屏幕区域检测方法。提出一种基于语义指导的边缘检测网络用于屏幕边缘检测，该网络分成两部分，一部分是由反卷积模块组成，完成图像分割任务，另一部分由不同尺度的特征图融合后进行图像边缘检测任务。将算法模型同时进行图像分割与图像边缘检测任务的训练，最后融合两个任务的输出得到最终边缘图像。在屏幕区域定位阶段，通过霍夫变换(Hough Transform)进行边缘图像直线检测，去掉重合直线，将符合条件的屏幕角点取出，并通过仿射变换(Affine Transformation)进行区域角度进行校正，最终得到屏幕内容图像。

技术领域

本发明涉及深度学习以及计算机视觉领域，具体涉及一种基于语义指导的边缘检测网络和屏幕定位方法。

背景技术

随着科技的进步手机等便携设备的计算能力不断增强，拥有摄像头的移动设备也越来越普及，应用这些设备可以很方便地进行拍照和摄像。人们经常需要利用手机等便携设备记录屏幕中播放的重要信息，但是在拍摄到屏幕的同时不可避免地会拍摄到屏幕外的背景，这些背景对后续的屏幕内容处理会带来很大的干扰。

另一方面在自然场景下，利用手机等便携设备对于屏幕内容进行拍摄，不可能避免地会受到自然场景下的许多因素干扰，这些干扰会影响后续的进行屏幕边缘检测处理结果的准确度，因此需要一种具有适合自然条件下的屏幕定位技术帮助准确定位到屏幕位置，以达到减少自然条件下所带外界噪声对于屏幕内容分析的干扰目的。而在自然场景下对于屏幕定位技术方面的研究依旧较少，这一方面急需进一步探索与研究。

在计算机视觉领域，通常检测屏幕使用的是传统边缘检测方法，使用传统方法对于整张图像进行边缘检测处理，最后通过人工特征进行匹配的方式在众多的图像边缘中寻找出目标屏幕边缘。然而传统边缘检测方法有着无法避免的缺点，一方面是传统边缘检测方法检测整张图片中所有边缘，会引入许多自然场景的干扰边缘像素，提高后续通过人工特征寻找目标边缘的难度。另一方面是传统边缘检测的方法大多都需要人工设置阈值来调整检测边缘灵敏度，过高会导致检测过多干扰因素无法进行人工特征匹配，而过低会导致无法检测到所需屏幕边缘。

在另一中国专利申请公开号CN102236784A中披露了通过传统方法霍夫变换扫描图像中的嫌疑边缘以及多直线拟合的方法进行屏幕边缘检测。另一美国专利申请公开号US20080266253A中披露了一种在计算机投影区域追踪光点的系统。该系统通过二值化捕获图像，并从二值化像素中筛选四边形来获取屏幕区域。而这些使用传统方法进行屏幕边缘检测的算法都无法满足不同场景的需求，抗干扰能力弱。

而基于深度学习的边缘检测算法在过去几年里受到了广泛的研究，随着人工智能的发展以及一些基于深度卷积神经网络(Convolutional Neural Networks)网络的边缘检测算法的提出，例如，经典边缘检测器HED以及RCF等，基于深度学习的检测方法已经取得了很好的效果，并且随着深度卷积神经网络架构性能的提升，其检测性能也会越来越好。

同时，考虑到基于深度学习的边缘检测网络输出图像边缘粗糙且模糊的问题，本发明设计了基于语义指导的边缘检测网络，通过结合图像分割任务和图像边缘检测任务，将图像分割任务中丰富的语义信息结合到边缘检测中去，能够得到更加精细化的屏幕边缘图像。

发明内容

本发明的目的在于设计一种基于语义指导的边缘检测网络和屏幕区域定位算法来得到自然场景下屏幕区域的方法。并且在基于此方法基础上实现一种屏幕区域检测系统，联合语义指导的边缘检测网络放在服务器端的GPU模块上进行，后续屏幕区域定位阶段使用的屏幕边缘角点筛选算法放在前端或客户端的CPU模块上进行，通过前后端分离操作减少前端计算量，从而提高屏幕区域检测系统的屏幕检测效率。