[发明专利]白板和文档图像检测方法和系统

说明书

背景

移动计算设备(诸如智能电话和平板)正越来越多地被用来代替独立的相机，用于捕捉与工作场所中的各种生产力场景(例如，包括幻灯片演示、头脑风暴会话等的会议)相关联的白板、黑板(例如具有彩色背景的书写表面)以及文档的照片。捕获的摄影图像随后可被用在用于生成电子文档的一个或多个生产力应用中。然而，上述摄影图像的捕捉可能会因一些缺陷而受到损害。例如，许多照片必须以一个角度(这可能是由于用户所处的房间的物理尺寸的限制)并且在不太理想的照明条件(例如，由于会议室中的源自入射光的眩光)下进行拍摄。因此，捕获的摄影图像经常包含在外部生产力应用中使用该图像之前可能至少部分地被矫正的不想要的视角偏移(perspective skew)以及不想要的区域(例如在白板框架之外的墙或在文档页边界之外的桌子表面)。此外，捕获的摄影图像可包含入射光残余的反射，从而使得这些图像在被生产力应用软件消费之前需要被“清理”。

概述

本公开描述了用于检测由例如智能手机、平板或任何其他合适的移动计算设备捕获的图像的白板区域或文档区域的边界的技术和架构。具体而言，这样的边界可包括通过四边形检测过程在图像中检测到的相对大量的四边形结构中的一个。该边界通过选择由根据一组准则被相应地排序的一些四边形候选中的一个来确定。

四边形检测过程可涉及利用基于颜色的边缘检测的线段检测器。在将一系列线段拟合到检测到的边缘点之后，该过程包括移除和合并小的或不稳定的线段的直线验证功能。减少直线的数量提高了直线检测的准确度并且可加速四边形检测过程。

两种不同的排序处理被用于确定四边形候选中的哪个四边形是图像的白板或文档区域的边界。一种排序处理可被用于白板图像，而另一种排序处理可被用于文档图像。例如，针对白板图像的排序处理可涉及用于帮助标识图像中的白板区域的笔划－标记(stroke-mark)检测，同时排除可能在图像的背景中的诸如白色墙壁或白色桌子的模棱两可的区域。针对文档图像的排序处理可涉及考虑图像中的直线颜色对比度的能量函数。

提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。例如术语“技术”可指代上述上下文和通篇文档中所准许的(诸)系统、(诸)方法、计算机可读指令、(诸)模块、算法、硬件逻辑(例如，现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD))和/或(诸)其他技术。

附图简述

详细描述参考附图进行阐述。在附图中，附图标记中最左边的数字标识该附图标记首次出现的附图。在不同附图中使用同一附图标记指示相似或相同的项或特征。

图1是描绘根据各种实现的其中可实现本文中所描述的技术的环境的框图。

图2是描绘根据各种实现的其中可实现本文中所描述的技术的设备的框图。

图3是根据各种实现的其中可实现本文中所描述的技术的移动计算设备的框图。

图4例示了根据各种实现的计算设备的屏幕显示，该计算设备包括用于捕捉图像以供处理的用户界面。

图5是例示根据各种实现的检测包括白板图像或文档图像的图像中的四边形的过程的流程图。

图6是例示根据各种实现的检测包括白板图像或文档图像的图像中的边缘的过程的流程图。

图7是例示根据各种实现的针对包括白板图像或文档图像的图像的直线检测和验证的过程的流程图。

图8和图9例示了根据各种实现的对共线直线合并(collinear line merging)的建模。

图10是例示根据各种实现的共线直线合并的过程的流程图。

图11是例示根据各种实现的检测笔划－标记以及对候选四边形进行排序的过程的流程图。

图12是例示根据各种实现的确定图像中的白板区域的边界的过程的流程图。

详细描述

概览