[发明专利]基于终端设备定位的图像处理方法、装置、设备和介质

权利要求书

1.一种基于终端设备定位的图像处理方法，所述方法用于终端设备，其特征在于，所述方法，包括：

将获取到的第一个图像帧，发送给云端服务器，以使云端服务器对所述第一个图像帧进行视觉定位处理；

对实时获取到的相邻的图像帧进行坐标变换处理，得到相邻的图像帧之间的坐标变换信息；

在接收所述云端服务器发送的第一个图像帧的视觉定位信息时，其中，所述视觉定位信息中包括第一个图像帧中的特征点的三维坐标信息，根据各所述相邻的图像帧之间的坐标变换信息、以及所述第一个图像帧，确定当前实时获取到的第N个图像帧的二维坐标信息，其中，所述第N个图像帧的二维坐标信息为所述第一个图像帧中的特征点在所述N个图像帧上的二维坐标，N为大于1的正整数；

根据所述第N个图像帧的二维坐标信息和所述第一个图像帧中的特征点的三维坐标信息，确定第N个图像帧的位姿信息，其中，所述位姿信息为所述第N个图像帧在世界坐标系下的位姿信息。

2.根据权利要求1所述的方法，其特征在于，所述坐标变换信息为单应性变换信息，其中，所述单应性变换信息用于表征相邻的图像帧之间坐标变换关系。

3.根据权利要求2所述的方法，其特征在于，对实时获取到的相邻的图像帧进行坐标变换处理，得到相邻的图像帧之间的坐标变换信息，包括：

计算第i个图像帧与第i+1个图像帧之间的单应性变换矩阵，得到第i个图像帧与第i+1个图像帧之间的单应性变换信息，其中，i∈[1，N-1]，i为正整数。

4.根据权利要求1所述的方法，其特征在于，根据各所述相邻的图像帧之间的坐标变换信息、以及所述第一个图像帧，确定当前实时获取到的第N个图像帧的二维坐标信息，包括：

对各所述相邻的图像帧之间的坐标变换信息进行级联处理，得到级联后的坐标变换信息；

根据所述级联后的坐标变换信息和所述第一个图像帧，确定所述第N个图像帧的二维坐标信息。

5.根据权利要求4所述的方法，其特征在于，所述级联后的坐标变换信息为

其中，h_i是第i个图像帧与第i+1个图像帧之间的坐标变换信息，i∈[1，N-1]，i为正整数。

6.根据权利要求5所述的方法，其特征在于，所述第N个图像帧的二维坐标信息为H*M，其中，M为所述第一个图像帧中的特征点在第一个图像帧上的二维坐标。

7.根据权利要求1所述的方法，其特征在于，所述根据第N个图像帧的二维坐标信息和所述特征点的三维坐标信息，确定第N个图像帧的位姿信息，包括：

采用RANSAC算法和PNP算法，对所述第N个图像帧的二维坐标信息和所述特征点的三维坐标信息进行计算，得到所述第N个图像帧的位姿信息。

8.根据权利要求1-7任一项所述的方法，其特征在于，所述根据第N个图像帧的二维坐标信息和所述特征点的三维坐标信息，确定第N个图像帧的位姿信息，包括：

对所述第N个图像帧的二维坐标信息进行优化处理，以在所述第N个图像帧上确定出与所述第一个图像帧中的特征点最优匹配的匹配点，其中，所述匹配点具有匹配点坐标信息，所述匹配点坐标信息为匹配点在第N个图像帧上的二维坐标；

根据所述特征点的三维坐标信息，确定所述匹配点的三维坐标信息；

根据所述匹配点的匹配点坐标信息和所述匹配点的三维坐标信息，确定第N个图像帧的位姿信息。

9.根据权利要求1-7任一项所述的方法，其特征在于，在所述根据第N个图像帧的二维坐标信息和所述特征点的三维坐标信息，确定第N个图像帧的位姿信息之后，还包括：

采用Patch alignment技术，对所述第N个图像帧的位姿信息进行优化处理，得到优化后的位姿信息。