[发明专利]多个非线性扭曲镜头下的目标追踪方法及系统

说明书

本发明提供一种多个非线性扭曲镜头下的目标追踪方法及系统。目标追踪方法利用深度学习方法来训练一物件辨识模型、一物件比对模型及一坐标对应模型。该物件辨识模型及该物件比对模型分别用来辨识及比对非线性扭曲下的物件，以找出多个影像撷取模块的视野内相同物件的多组相对应物件信息。接下来，该坐标对应模型验证该多组相对应物件信息，并经由此验证后的多组相对应物件信息找出多个影像撷取模块的视野内所有的位置对应。

技术领域

本发明是关于一种非线性扭曲镜头下的目标追踪方法及系统，且更具体而言，是关于一种借由深度学习方式所训练出的物件辨识模型、物件比对模型及坐标对应模型来进行多个非线性扭曲镜头下的目标追踪方法及系统。

背景技术

近年来监控产业蓬勃发展，监视摄影机在公共场所随处可见。随着监视摄影机的数量据增，跨摄影机间的追踪的需求也跟着增加。当追踪的目标从原本摄影机的拍摄画面上消失时，需要进一步的判断才能知道追踪的目标是已经离开此摄影机架设的公共场所，或者出现在其他不同的摄影机的取像范围。举例而言，卖场中的消费者从第一台摄影机的范围中消失时，需进一步判断才能知道是移动到了第二台摄影机的取像范围，或者是已走出卖场。

关于前述问题，一般常见的已知方式是先使用人物检测的方式来检测出所有人物，再从人物影像中撷取出特征来加以比对。但是，这种方式需消耗较多的运算资源，且缺点在于当遇到特征相似的人时将难以分辨。因此，若可加上位置的辅助及事先比对摄影机内的静物，将可建立出摄影机彼此之间的范围对照图。举例来说，若可知道与第一台摄影机的取像范围重叠的其他摄影机的设置位置，便能预测消费者可能出现的位置，从而大幅度缩小比对范围。比对摄影机内的静物，最普遍也最有效的做法，就是图学中所谓的寻找特征点，借由找到并比对两个摄影机范围内的共通特征点，便能建立两摄影机范围内的图像对应，从而找到位置对应。

但是，前述传统寻找特征点的方式是假设摄影机的影像没有或是只有轻度的非线性扭曲，若是要运用在一般非线性扭曲的镜头例如广角、鱼眼等镜头时，常会发生多个摄影机范围内的共通特征点的误判，或是共通特征点的位置无法正确对应等问题，导致无法精确地追纵目标物，因此，在执行上将产生困难。

关于传统图学针对非线性扭曲下的特征点搜寻，早期的研究主要是假设非线性扭曲可以被完美的投影公式所消除，但后来证明，除非另外使用黑白棋盘图像进行手动或半自动的扭曲测量，否则难以产生完美的投影公式。

近年来，尽可能减少测量需求并直接在扭曲后图像上寻找特征点的做法也逐渐被提出，但多半有所限制，例如：假设该非线性扭曲遵循固定的模型。然而，由于广角、鱼眼等镜头的模型很多，因此，前述的假设方式依旧不是个完美的通解。涉及广角、鱼眼摄影机的位置比对，至今仍是个困难的议题，其困难在于难以稳定地找到特征点。由于该类镜头施加的非线性扭曲，使得传统特征点本身以及描述特征点周遭关系的特征描述(descriptor)都会受到扭曲而造成比对失败，且当两个摄影机距离太远时，造成影响的不只是摄影机本身的非线性扭曲，甚至还会有不同视角造成的影响(例如：物体的正面跟背面)。

本发明欲解决的问题，就是如何在多个非线性扭曲镜头下，全自动的解决位置对应的问题，并且可适用于广角、鱼眼等镜头。

发明内容

本发明是探讨如何在会造成非线性扭曲的镜头(例如：广角镜头、鱼眼镜头、内视镜等等)的拍摄中，使用深度学习方法建立多摄影机所拍摄的影像间的正确的位置信息映对。

本发明提出的作法是：利用深度学习方法来训练三个深度学习网络，其中第一个深度学习网络的目的为辨识非线性扭曲下的物件，第二个深度学习网络用于辨识多个影像撷取装置的视野内共同的物件并当作特征物件，且依此判定多个影像撷取装置中的物件是否相互对应。第三个深度学习网络则用来借由这些对应位置找出多个摄影机画面中所有的位置对应。