[发明专利]基于影像的手势控制方法与使用此方法的电子装置

权利要求书

1.一种基于影像的手势控制方法，适用于包括影像撷取装置与显示屏幕的电子装置，所述方法包括：

通过该显示屏幕显示一影像；

通过该影像撷取装置对使用者手部撷取手部影像；

利用该手部影像侦测该使用者手部于三维空间中进行的一手势，利用该手部影像判断该手势是否符合预定控制手势，若是，对该手部影像进行关键点侦测，以获取该使用者手部的至少一关键点坐标；

将该至少一关键点坐标映射至该显示屏幕上的至少一二维屏幕坐标；以及

依据该至少一二维屏幕坐标对该影像中的影像物体执行一操作。

2.如权利要求1所述的基于影像的手势控制方法，其特征在于，将该至少一关键点坐标映射至该显示屏幕上的该至少一二维屏幕坐标的步骤包括：

将该至少一关键点坐标投影至该使用者手部与该影像撷取装置之间的一虚拟平面上，以获取该虚拟平面上的至少一二维虚拟坐标；以及

依据该显示屏幕的解析度与一屏幕选定范围，正规化该至少一二维虚拟坐标，以获取该显示屏幕上的该至少一二维屏幕坐标。

3.如权利要求1所述的基于影像的手势控制方法，其特征在于，将该至少一关键点坐标投影至该使用者手部与该影像撷取装置之间的该虚拟平面上，以获取该虚拟平面上的该至少一二维虚拟坐标的步骤包括：

将该至少一关键点坐标的第一坐标分量乘上一深度比例，而获取该至少一二维虚拟坐标的第一坐标分量；以及

将该至少一关键点坐标的第二坐标分量乘上该深度比例，而获取该至少一二维虚拟坐标的第二坐标分量，其中该深度比例为该虚拟平面与该影像撷取装置之间的预设距深度比上该至少一关键点坐标的第三坐标分量。

4.如权利要求1所述的基于影像的手势控制方法，其特征在于，依据该至少一二维屏幕坐标对该影像中的该影像物体执行该操作的步骤包括：

对该影像进行语义分割操作，以获取该影像中的该影像物体的物体边界；

当该手势符合特定单指手势，判断对应于该至少一关键点坐标的该至少一二维屏幕坐标是否位于该物体边界之内；以及

若是，对该影像物体执行一选取操作。

5.如权利要求1所述的基于影像的手势控制方法，其特征在于，该至少一关键点坐标包括第一关键点坐标与第二关键点坐标，依据该至少一二维屏幕坐标对该影像中的该影像物体执行该操作的步骤包括：

对该影像进行语义分割操作，以获取该影像中的该影像物体的物体边界；

当该手势符合特定双指手势，判断该第一关键点坐标与该第二关键点坐标之间的距离是否小于门槛值；

若是，对该影像物体开始执行一拖曳操作；以及

反应于该第一关键点坐标与该第二关键点坐标之间的距离大于另一门槛值，结束执行该拖曳操作。

6.一种电子装置，包括：

一影像撷取装置；

一显示屏幕；

一存储装置，记录有多个指令；以及

一处理器，耦接该显示屏幕、该影像撷取装置与该存储装置，经配置以：

通过该显示屏幕一影像；

通过该影像撷取装置对使用者手部撷取一手部影像；

利用该手部影像侦测该使用者手部于三维空间中进行的一手势，利用该手部影像判断该手势是否符合预定控制手势，若是，对该手部影像进行关键点侦测，以获取该使用者手部的至少一关键点坐标；

将该至少一关键点坐标映射至该显示屏幕上的至少一二维屏幕坐标；以及

依据该至少一二维屏幕坐标对该影像中的一影像物体执行一操作。

7.如权利要求6所述的电子装置，其特征在于，该处理器更经配置以：

将该至少一关键点坐标投影至该使用者手部与该影像撷取装置之间的一虚拟平面上，以获取该虚拟平面上的至少一二维虚拟坐标；以及

依据该显示屏幕的解析度与一屏幕选定范围，正规化该至少一二维虚拟坐标，以获取该显示屏幕上的该至少一二维屏幕坐标。