[发明专利]一种眼睛控制键盘打字的方法在审
| 申请号: | 201910563702.3 | 申请日: | 2019-06-26 |
| 公开(公告)号: | CN110262673A | 公开(公告)日: | 2019-09-20 |
| 发明(设计)人: | 熊建斌;李春林;梁琼;张锦雄 | 申请(专利权)人: | 广东技术师范大学 |
| 主分类号: | G06F3/023 | 分类号: | G06F3/023;G06F3/01;G06K9/00;G06K9/32;G06K9/54;G06T7/13;G06T7/136 |
| 代理公司: | 广州恒华智信知识产权代理事务所(普通合伙) 44299 | 代理人: | 姜宗华 |
| 地址: | 510665 广东*** | 国省代码: | 广东;44 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 人眼图像 上位机 瞳孔坐标 打字 打字操作 控制键盘 瞳孔检测 虚拟按键 瞳孔 人眼 发送 图像处理算法 摄像头拍摄 定位处理 控制电脑 图像处理 相关函数 虚拟键盘 眨眼动作 文本框 标定 触发 算法 眨眼 检测 | ||
1.一种眼睛控制键盘打字的方法,其特征在于,包括以下步骤:
人眼摄像头拍摄人眼并通过openCV的相关函数得到人眼图像;
所述人眼摄像头将所述人眼图像发送至瞳孔检测设备;
所述瞳孔检测设备通过图像处理算法对所述人眼图像进行图像处理,得到处理后的人眼图像并发送至控制上位机;
所述控制上位机通过Hough算法对所述处理后的人眼图像进行瞳孔定位处理,得到瞳孔坐标;
所述控制上位机对所述处理后的人眼图像进行眨眼检测,判断是否存在眨眼动作;
如果是,所述控制上位机将所述瞳孔坐标与虚拟键盘进行标定对比,得到所述瞳孔坐标对应的虚拟按键;
所述控制上位机触发所述虚拟按键,以使用户在所述控制上位机的文本框中打字。
2.根据权利要求1所述的方法,其特征在于,所述瞳孔检测设备通过图像处理算法对所述人眼图像进行图像处理,得到处理后的人眼图像并发送至控制上位机,包括以下步骤:
所述瞳孔检测设备通过图像处理算法对所述人眼图像进行图像预处理;
所述瞳孔检测设备通过图像处理算法对图像预处理后的所述人眼图像进行阈值二值化分割处理;
所述瞳孔检测设备通过图像处理算法对阈值二值化分割处理后的所述人眼图像进行边缘检测处理;
所述瞳孔检测设备将处理后的人眼图像发送至控制上位机。
3.根据权利要求2所述的方法,其特征在于,所述控制上位机通过Hough算法对所述处理后的人眼图像进行瞳孔定位处理,得到瞳孔坐标,包括以下步骤:
所述控制上位机通过瞳孔粗定位算法对所述处理后的人眼图像进行瞳孔粗定位处理;
所述控制上位机在所述处理后的人眼图像中选取感兴趣区域,并在所述感兴趣区域内进行瞳孔定位;
所述控制上位机通过广义Hough算法对所述处理后的人眼图像进行Hough圆检测;
所述控制上位机根据瞳孔粗定位处理的结果、在感兴趣区域内的瞳孔定位结果以及Hough圆检测结果,得到所述处理后的人眼图像中的瞳孔坐标。
4.根据权利要求3所述的方法,其特征在于,当所述控制上位机对所述处理后的人眼图像进行眨眼检测,判断不存在眨眼动作时,还包括以下步骤:
所述控制上位机计算上一次眨眼动作存在的时刻距离本次检测不存在眨眼动作时刻的暂停时长;
所述控制上位机判断所述暂停时长是否超过预设暂停时长;
如果是,则所述控制上位机暂停在其文本框中打字。
5.根据权利要求4所述的方法,其特征在于,人眼摄像头拍摄人眼并通过openCV的相关函数得到人眼图像之前,还包括以下步骤:
通过红外二极管照射人眼。
6.根据权利要求5所述的方法,其特征在于,所述控制上位机对所述处理后的人眼图像进行眨眼检测,判断是否存在眨眼动作,包括以下步骤:
所述控制上位机对所述红外二极管照射人眼时人眼角膜发射产生的光斑进行存在性检测;
所述控制上位机分别获取所述处理后的人眼图像中睁眼和闭眼时的拟合椭圆的轮廓大小;
所述控制上位机对睁眼和闭眼时拟合椭圆的轮廓大小进行对比;
当光斑检测结果为存在且睁眼和闭眼拟合椭圆时的轮廓数大小不相同,则存在眨眼动作;
当光斑检测结果为不存在且睁眼和闭眼拟合椭圆时的轮廓数大小相同,则不存在眨眼动作。
7.根据权利要求2所述的方法,其特征在于,所述图像预处理包括灰度化处理、中值滤波处理、图像腐蚀处理以及图像膨胀处理。
8.根据权利要求6所述的方法,其特征在于,通过红外二极管照射人眼之后,还包括以下步骤:
红外二极管将照射人眼之后反射回来的红外光线的频率信息传输至控制上位机;
所述控制上位机计算人眼与其显示屏之间的相对距离;
所述控制上位机判断所述相对距离是否在人眼眨眼控制打字的有效距离范围内;
如果是,则所述控制上位机向人眼摄像头发送人眼图像拍摄指令,以使所述人眼摄像头执行拍摄人眼并通过openCV的相关函数得到人眼图像的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广东技术师范大学,未经广东技术师范大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910563702.3/1.html,转载请声明来源钻瓜专利网。





