[发明专利]用于滚动快门补偿的方法和设备

说明书

本发明公开一种用于滚动快门补偿的系统、设备和方法。可从滚动快门相机接收具有在不同时间捕获的多个扫描线的图像，其中每一扫描线包含多个2D像素，且其中每一扫描线具有相关联的相机位姿。可将所述接收到的图像的第一扫描线中的一或多个2D像素去投影到3D坐标，且可将所述3D坐标从所述第一扫描线变换到参考位姿。可重新投影所述经变换的3D坐标，且响应于所述重新投影，可为所述第一扫描线中的所述一或多个2D像素提供参考时间帧经校正的2D坐标。

相关申请案的交叉参考

本申请案主张2016年6月24日申请的标题为“用于滚动快门补偿的方法和设备(METHOD AND APPARATUS FOR ROLLING SHUTTER COMPENSATION)”的第15/192,930号美国专利申请案的优先权，所述专利申请案以引用的方式并入本文中。

技术领域

本文所公开的标的物大体上涉及图像处理技术，且更具体地说，涉及滚动快门图像捕获的处理方面。

背景技术

滚动快门(RS)描述可将假影引入到所得图像中的图像捕获方法。RS假影通常因为包括RS数字图像捕获的扫描线的2D循序读出而出现。相比之下，对于一次捕获整个图像的其它数字图像技术(例如全局快门相机传感器)，RS假影通常不会出现。RS类型的相机传感器通常以从上到下序列捕获扫描线，与暴露时间或帧速率无关。RS假影通常在相机或对象在RS相机的读出时间期间移动(例如改变相对位置)时出现。读出时间是读取第一(例如顶部)扫描线与最后一个(例如底部)扫描线之间的延迟或持续时间。读出时间可比暴露时间或反向帧速率短或长。读出时间通常是固定硬件特性(即，读出时间通常不随着帧速率而改变)。归因于第一扫描线与最后一个扫描线之间的读出时间(即，RS延迟/持续时间)，第一扫描线(例如图像的顶部)可描绘与后续扫描线(例如在第一或初始扫描线之后捕获的扫描线，例如在从上到下扫描序列中，在图像的底部)中的对象或环境不同(例如来自较早时间)的对象或环境。当相机或对象/环境处于运动时，对象或环境的差异可导致RS假影。对RS问题的一些解决方案尝试通过严格的2D像素分析和操纵来校正RS假影。其它解决方案可尝试计算用RS相机捕获的图像的每个2D像素的独立时戳。先前解决方案的问题是不可用于某些装置(例如移动或便携式装置)的相对复杂性和较大的计算资源要求。因此，需要用于处理彩色和深度图像的新型且改进的技术。

发明内容

本文所公开的实施例可将特征点位置校正到共用时间帧。可通过从图像中的其它RS扫描线选择一扫描线作为参考，来确定所述共用时间帧。

本文所公开的实施例可涉及一种校正滚动快门假影的方法，所述方法包括：从滚动快门相机接收具有在不同时间捕获的多个扫描线的图像，其中每一扫描线包含多个2D像素，且其中每一扫描线具有相关联的相机位姿；将所述接收到的图像的第一扫描线中的一或多个2D像素去投影到3D坐标；将所述3D坐标从所述第一扫描线变换为参考位姿；重新投影经变换的3D坐标；以及响应于重新投影，为第一扫描线中的一或多个2D像素提供参考时间帧经校正的2D坐标。

本文所公开的实施例还可涉及一种其中存储有程序指令的机器可读非暂时性存储媒体，所述程序指令可由处理器执行以：从滚动快门相机接收具有在不同时间捕获的多个扫描线的图像，其中每一扫描线包含多个2D像素，且其中每一扫描线具有相关联的相机位姿；将所述接收到的图像的第一扫描线中的一或多个2D像素去投影到3D坐标；将所述3D坐标从第一扫描线变换为参考位姿；重新投影经变换的3D坐标；以及响应于重新投影，为第一扫描线中的一或多个2D像素提供参考时间帧经校正的2D坐标。