[发明专利]一种基于普通纸笔的人机交互方法及人机交互系统

说明书

技术领域

本发明属于混合现实领域中的信息交互技术领域，尤其是涉及一种基于普通纸笔的人机交互方法及人机交互系统。

背景技术

在当今计算机普及的时代，人与计算机的交互无处不在，因而决不能由于现有交互方式的限制，将某些研究领域阻挡在技术便利的大门之外。作为人机接口设备，鼠标与键盘扮演了极其重要的角色。然而在一定程度上鼠标与键盘却把一些人挡在了科技生活的大门之外，传统的鼠标键盘交互方式存在操作步骤比较繁琐、效率低、劳动强度较大、需长时间面对电脑且需配备相应的硬件设备等缺陷和不足。随着人机交互“自然化”的发展，传统的鼠标键盘交互方式已经不能满足用户日益增长的实际需求。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种方法步骤简单、实现方便且智能化程度高、使用效果好的计算机与纸笔信息交互方法。

为解决上述技术问题，本发明采用的技术方案是：一种一种基于普通纸笔的人机交互方法，其特征在于该方法包括以下步骤：

步骤一、建立交互信息识别模板库并输入初始参数：利用处理器建立交互信息识别模板库，所建立的交互信息识别模板库内存储有需进行交互的多个类型图文信息分类符的图像信息和各图文信息分类符的属性数据，且各图文信息分类符的图像信息与其属性数据之间均通过关联单元进行关联，所述属性数据包括图文信息分类符所对应图文信息的类型和对图文信息分类符所对应图文信息进行处理的信息处理模块；同时，通过所述参数设置单元输入初始参数，所述初始参数包括所使用方形白纸的尺寸信息；

步骤二、信息交互前期预处理，其预处理过程包括以下步骤：

步骤201、获取背景信息：通过摄像头摄取操作平台的图像信息并同步上传至处理器，所摄取的操作平台图像信息即为信息交互用背景信息，且处理器将所述背景信息存入存储器内；

步骤202、提取纸张信息：将方形白纸平铺在步骤201中所述的操作平台上，再通过摄像头摄取所述操作平台和平铺在所述操作平台上的方形白纸的组合式图像信息，并将所摄取的所述组合式图像信息同步上传至处理器；之后，结合步骤201中所述背景信息，所述处理器调用背景滤除模块将所述组合式图像信息中的所述背景信息减除，并相应获得需进行信息交互的前景信息，且处理器将所述前景信息存入存储器内；之后，所述处理器结合步骤一中所输入方形白纸的尺寸信息，并调用角点检测模块和直线检测模块，对所述前景信息中方形白纸的四个顶点位置进行确定，并相应在所述前景信息中检测出方形白纸的具体位置；

步骤203、需交互信息采集：处理器采用书写后采集方式或书写同步采集方式，对方形白纸上所书写的需交互图文信息进行采集；

当采用书写后采集方式进行采集时，步骤202中所述的方形白纸为上部已书写有一组或多组图文信息的方形纸；且处理器采用书写后采集方式进行采集时，处理器调用图像截取模块将步骤202中已检测出方形白纸上的图像信息截取出来，并将所截取图像信息存入存储器内；此时，存入存储器内的所截取图像信息便为需交互信息；

当采用书写同步采集方式进行采集时，步骤202中所述的方形白纸为空白纸；本步骤中，所述处理器采用边书写边采集的方式进行采集，且实际进行采集时，通过摄像头对书写过程中各时刻方形白纸上的图像信息进行实时摄取，并将实时所摄取信息同步传送至处理器；处理器调用视频运动检测模块对摄像头实时所摄取信息进行分析处理，并相应实现对书写过程中书写笔的笔尖进行跟踪，且通过跟踪书写笔的笔尖，实时获取书写笔在方形白纸上所书写的图文信息，并将所获取的图文信息存入存储器内；此时，存入存储器内的实时所获取书写笔在方形白纸上所书写的图文信息，便为需交互信息；

步骤203中所述需交互信息包括一组或多组图文信息；且所述需交互信息中的各组图文信息为纯文字信息、草图绘制信息、二维几何绘制信息、三维几何建模信息、物理信息或仿真按钮信息；其中，所述纯文字信息、草图绘制信息、二维几何绘制信息、三维几何建模信息和物理信息的图文信息分类符均为组合式标识符，所述组合式标识符由前后两个相同的标识符号组成；且所述纯文字信息、草图绘制信息、二维几何绘制信息、三维几何建模信息和物理信息，均包括前后两个相同的标识符号和置于两个所述标识符号之间的图文信息内容；所述仿真按钮信息的图文信息分类符为一个单独式标识符，且所述仿真按钮信息包括所述单独式标识符；

步骤203中所述需交互信息中的任一组所述物理信息，均与一组仿真按钮信息通过关联单元进行关联；

步骤三、信息交互，其信息交互过程如下：