[发明专利]用于基于姿态信息处理和显示图像数据的系统及方法

说明书

提供了用于基于成像设备的姿态信息和显示终端的姿态信息来处理和显示环境的图像数据的方法和系统。获得在捕获图像的时刻的成像设备(例如，相机)的姿态信息，并将姿态信息与图像相关联。可以基于显示终端的对应的姿态信息来选择图像，并将图像显示在显示终端上。

背景技术

诸如无人机(UAV)之类的飞行器已经被开发用于广泛的应用，包括监视、搜救行动、勘探和其他领域。这样的UAV可以携带机载相机来捕获环境的静态图像和视频图像。

UAV还可以携带机载姿态传感器，例如IMU(惯性测量单元)，以获得UAV的姿态信息。姿态信息可用于跟踪和预测UAV的位置。还可以将姿态传感器提供给相机以在图像捕获期间跟踪相机的姿态。

发明内容

提供了用于基于成像设备(例如相机)的姿态信息和显示终端(例如智能电话)的姿态信息来处理和显示环境图像的系统和方法。测量在捕获图像的时刻的成像设备的姿态信息，并将姿态信息与图像相关联。可以基于显示终端的对应姿态信息来选择图像并将图像显示在显示终端上。在一些实施例中，当显示终端处于基本上与第一姿态对应的第二姿态时，可以选择以第一姿态捕获的图像以进行显示。捕获的图像可以是静态图像或运动图像，例如视频。本文提供的各种实施例使得能够实现用户的虚拟现实体验。用户可以通过简单地倾斜显示终端来改变其姿态，并观看捕获的环境的具有不同FOV(视场)的图像。

本公开的一方面可以提供用于处理环境的图像数据的方法。该方法可以包括：获得(1)使用成像设备所捕获的多个图像、以及(2)与多个图像相对应的成像设备的姿态信息；以及将多个图像与成像设备的对应姿态信息相关联。

本公开的各方面还可以提供用于处理环境的图像数据的系统。该系统可以包括被配置为捕获多个图像的成像设备；惯性传感器，被配置为收集与多个图像相对应的成像设备的姿态信息；以及一个或多个处理器，被单独或共同配置为将多个图像与成像设备的对应姿态信息相关联。

本公开的各方面还可提供用于处理环境的图像数据的设备。该设备可以包括一个或多个处理器，一个或多个处理器被单独地或共同地配置为：获得(1)使用成像设备所捕获的多个图像、以及(2)与多个图像相对应的成像设备的姿态信息；以及将多个图像与所述成像设备的对应姿态信息相关联。

本公开的各方面还可以提供一种包括机器可执行代码的非暂时性计算机可读介质，该机器可执行代码在被一个或多个计算机处理器执行时实现用于处理环境图像数据的方法。非暂时性计算机可读介质可以包括用于进行以下操作的程序指令：获得(1)使用成像设备捕获的多个图像、以及(2)与多个图像对应的成像设备的姿态信息；以及用于将多个图像与成像设备的对应姿态信息相关联的程序指令。

本公开的各方面还提供了一种可移动物体。可移动物体可以包括实现可移动物体的运动的一个或多个推进单元；以及本公开的方面的用于处理环境的图像数据的系统。

本公开的各方面还可提供一种用于在显示终端上显示环境的图像数据的方法。该方法可以包括：获得终端的姿态信息；基于终端的姿态信息，从多个图像中选择要在所述终端上显示的一个或多个图像，其中，所述多个图像由成像设备捕获并与成像设备的对应姿态信息相关联；以及在终端上显示选择的一个或多个图像。

本公开的各方面还可提供一种显示环境的图像数据的显示终端。设备可以包括一个或多个处理器，一个或多个处理器单独地或共同地被配置为：获得终端的姿态信息；基于终端的姿态信息，从多个图像中选择要在终端上显示的一个或多个图像，其中，多个图像由成像设备捕获并与成像设备的对应姿态信息相关联；以及在设备上显示选择的一个或多个图像。

本公开的各方面还可以提供一种包括机器可执行代码的非暂时性计算机可读介质，该机器可执行代码在被一个或多个计算机处理器执行时实现用于显示环境图像数据的方法。非暂时性计算机可读介质可以包括用于获得显示终端的姿态信息的程序指令；用于基于终端的姿态信息从多个图像中选择要在终端上显示的一个或多个图像的程序指令；以及用于在终端上显示选择的一个或多个图像的程序指令。