[发明专利]基于瞳孔跟踪的阅读控制方法、阅读控制装置及显示设备

说明书

技术领域

本发明涉及人机交互技术领域，尤其涉及一种基于瞳孔跟踪的阅读控制方法、阅读控制装置及显示设备。

背景技术

传统在便携设备上进行阅读的操控方法一般有两种，按键/按钮式的操控和可触屏上手势的操控。当然，随着现在语音技术的成熟，语音操控或许也是一种不错的方式，在这些操控方式，按键和手势操控是需要同设备直接接触的，操作繁琐；而语音操控，一方面容易受环境干扰，另一方面也容易干扰到环境，也不是很适合用户的阅读。随着科技的发展，特别是人脸检测和定位技术的成熟为这种人机交互式阅读提供了更多的可能。

便携设备上的阅读内容是通过眼睛输入给人的，眼睛是阅读的直接行为者，能否直接通过眼睛对阅读进行操控，使眼睛既为输入者又为输出者（阅读的同时进行操控），这样的操控肯定是最便捷的。

发明内容

本发明的主要目的在于提供一种基于瞳孔跟踪的阅读控制方法、阅读控制装置及显示设备，旨在通过跟踪用户双眼的瞳孔动作来控制所述显示屏上显示内容执行对应的阅读操作，以实现对显示内容的实时操作。

为了实现上述目的，本发明提供一种基于瞳孔跟踪的阅读控制方法，包括如下步骤：

步骤A、当用户阅读显示设备的显示屏上的显示内容时，获取用户的当前眼部图像；

步骤B、将所述当前眼部图像与瞳孔动作样本图像集进行匹配，得到所述当前眼部图像所属的瞳孔动作样本图像；

步骤C、获取所述瞳孔动作样本图像所映射的阅读指令；

步骤D、执行所述阅读指令，对显示设备的显示屏上显示内容进行相应的阅读操作。

优选地，在所述步骤A之前还包括：步骤A0、采集多个瞳孔动作样本形成所述瞳孔动作样本图像集，并在所述瞳孔动作样本图像集的瞳孔动作样本图像和阅读指令集的阅读指令之间建立一对一映射关系。

优选地，所述步骤A0中，所述瞳孔动作样本图像集包括双眼正常直视样本图像、双眼向右样本图像、双眼向左样本图像、双眼向上样本图像、双眼向下样本图像、双眼闭眼样本图像、左眼闭右眼睁样本图像及右眼闭左眼睁样本图像中的至少一种，所述阅读指令集包括正常阅读指令、向右翻页指令、向左翻页指令、向上移动页面指令、向下移动页面指令、确认指令、返回指令及调用菜单指令中的至少一种；

所述步骤B中，将所述当前眼部图像与瞳孔动作样本图像集进行匹配时，定义当前眼部图像f_n与瞳孔动作样本图像集中瞳孔动作样本图像F_i（i≥1）的距离函数值为：

d_ni=|f_n(x1)-F_i(x1)|+|f_n(y1)-F_i(y1)|+|f_n(x2)-F_i(x2)|+|f_n(y2)-F_i(y2)|

上式中：

f_n(x1)、f_n(y1)分别代表当前眼部图像f_n中左眼瞳孔中心的x坐标和y坐标；F_i(x1)、F_i(y1)分别代表瞳孔动作样本图像F_i中左眼瞳孔中心的x坐标和y坐标；f_n(x2)、f_n(y2)分别代表当前眼部图像f_n中右眼瞳孔中心的x坐标和y坐标；F_i(x2)、F_i(y2)分别代表瞳孔动作样本图像F_i中右眼瞳孔中心的x坐标和y坐标；或者

f_n(x1)、f_n(y1)分别代表当前眼部图像f_n中左眼瞳孔所有点的x坐标集合和y坐标集合；F_i(x1)、F_i(y1)分别代表瞳孔动作样本图像F_i中左眼瞳孔所有点的x坐标集合和y坐标集合；f_n(x2)、f_n(y2)分别代表当前眼部图像f_n中右眼瞳孔所有点的x坐标集合和y坐标集合；F_i(x2)、F_i(y2)分别代表瞳孔动作样本图像F_i中右眼瞳孔所有点的x坐标集合和y坐标集合；又或者