[发明专利]基于视线跟踪与语音识别的字符输入装置和方法

摘要

基于视线跟踪与语音识别的字符输入装置和方法，本发明的装置包括头盔单元，ARM核单元，图像采集卡，语音识别模块，DSP核单元，场景图像处理模块，坐标转换模块，界面模块。本发明的方法在采集并处理眼图、场景图像和用户语音信号的基础上，先通过校准得到标定系数，再通过求解二维标定方程、坐标转换矩阵得到用户视线注视点在界面坐标系中的坐标值，最终获得期望输入的字符，并配合用户的语音信息，完成字符输入操作以及四则运算操作。本发明具有字符输入注视精度高，头部活动范围较大，操作简捷的优点。具备良好的实用性和可操作性。

主权项

基于视线跟踪与语音识别的字符输入装置，包括头盔单元，ARM核单元，图像采集卡，语音识别模块，DSP核单元，场景图像处理模块，坐标转换模块，界面模块；所述的头盔单元分别与ARM核单元、图像采集卡、语音识别模块单向连接；所述的ARM核单元与DSP核单元双向连接；所述的图像采集卡与场景图像处理模块单向连接；所述的场景图像处理模块与DSP核单元单向连接；所述的坐标转换模块分别与DSP核单元、场景图像处理模块单向连接；所述的语音识别模块与界面模块单向连接；所述的界面模块与坐标转换模块双向连接；所述的界面模块放置于用户正前方； 所述头盔单元，用于采集眼图、场景图像和用户语音信号； 所述ARM核单元，用于控制眼摄像机子单元采集眼图，控制DSP核处理眼图； 所述图像采集卡，用于控制场景摄像机采集场景图像； 所述语音识别模块，用于接收并分析用户语音信号，获得用户确认信息； 所述DSP核单元，包括眼图处理模块和标定模块，眼图处理模块用于处理眼图获得瞳孔‑光斑矢量；标定模块用于获取二维标定方程组的标定系数，并利用该标定系数和瞳孔‑光斑矢量获取用户视线注视点在场景图像坐标系中的坐标值； 所述场景图像处理模块，用于处理场景图像获得校准标志点和转换标志点在场景图像坐标系中的坐标值； 所述坐标转换模块，利用转换标志点在场景图像坐标系中的坐标值和转换标志点在界面坐标系中的坐标值，获取坐标转换矩阵，并使用该坐标转换矩阵和用户视线注视点在场景图像坐标系中的坐标值获得用户视线注视点在界面坐标系中的坐标值； 所述界面模块，用于创建两个界面视图，在一个界面视图中绘制9个校准标志点，在另一个界面视图中绘制由4个转换标志点和55个键组成的输入键盘，并使用用户视线注视点在界面坐标系中的坐标值和用户确认信息完成期望字符输入。