[发明专利]一种基于普通纸笔的人机交互方法及人机交互系统

摘要

本发明公开了一种基于普通纸笔的人机交互方法及人机交互系统，其交互方法包括步骤：一、建立交互信息识别模板库并输入初始参数；二、信息交互前期预处理：获取背景信息、提取纸张信息与需交互信息采集；三、信息交互，其信息交互过程如下：信息分类符识别及信息分类和信息处理；其交互系统包括平铺在操作平台上的方形白纸、摄像头、与摄像头相接的控制器以及分别与控制器相接的参数设置单元、存储器和显示器。本发明设计新颖合理、投资成本低、便于控制并且使用效果好、操作性非常强，输写方便，能简便将人们早已习惯的纸笔输入和现代化计算机技术结合在一起，简便实现二维、三维场景模拟与物理仿真。

主权项

一种基于普通纸笔的人机交互方法，其特征在于该方法包括以下步骤：步骤一、建立交互信息识别模板库并输入初始参数：利用处理器（3‑1）建立交互信息识别模板库，所建立的交互信息识别模板库内存储有需进行交互的多个类型图文信息分类符的图像信息和各图文信息分类符的属性数据，且各图文信息分类符的图像信息与其属性数据之间均通过关联单元进行关联，所述属性数据包括图文信息分类符所对应图文信息的类型和对图文信息分类符所对应图文信息进行处理的信息处理模块；同时，通过所述参数设置单元输入初始参数，所述初始参数包括所使用方形白纸（1）的尺寸信息；步骤二、信息交互前期预处理，其预处理过程包括以下步骤：步骤201、获取背景信息：通过摄像头（2）摄取操作平台的图像信息并同步上传至处理器（3‑1），所摄取的操作平台图像信息即为信息交互用背景信息，且处理器（3‑1）将所述背景信息存入存储器（3‑5）内；步骤202、提取纸张信息：将方形白纸（1）平铺在步骤201中所述的操作平台上，再通过摄像头（2）摄取所述操作平台和平铺在所述操作平台上的方形白纸（1）的组合式图像信息，并将所摄取的所述组合式图像信息同步上传至处理器（3‑1）；之后，结合步骤201中所述背景信息，所述处理器（3‑1）调用背景滤除模块将所述组合式图像信息中的所述背景信息减除，并相应获得需进行信息交互的前景信息，且处理器（3‑1）将所述前景信息存入存储器（3‑5）内；之后，所述处理器（3‑1）结合步骤一中所输入方形白纸（1）的尺寸信息，并调用角点检测模块和直线检测模块，对所述前景信息中方形白纸（1）的四个顶点位置进行确定，并相应在所述前景信息中检测出方形白纸（1）的具体位置；步骤203、需交互信息采集：处理器（3‑1）采用书写后采集方式或书写同步采集方式，对方形白纸（1）上所书写的需交互图文信息进行采集；当采用书写后采集方式进行采集时，步骤202中所述的方形白纸（1）为上部已书写有一组或多组图文信息的方形纸；且处理器（3‑1）采用书写后采集方式进行采集时，处理器（3‑1）调用图像截取模块将步骤202中已检测出方形白纸（1）上的图像信息截取出来，并将所截取图像信息存入存储器（3‑5）内；此时，存入存储器（3‑5）内的所截取图像信息便为需交互信息；当采用书写同步采集方式进行采集时，步骤202中所述的方形白纸（1）为空白纸；本步骤中，所述处理器（3‑1）采用边书写边采集的方式进行采集，且实际进行采集时，通过摄像头（2）对书写过程中各时刻方形白纸（1）上的图像信息进行实时摄取，并将实时所摄取信息同步传送至处理器（3‑1）；处理器（3‑1）调用视频运动检测模块对摄像头（2）实时所摄取信息进行分析处理，并相应实现对书写过程中书写笔（4）的笔尖进行跟踪，且通过跟踪书写笔（4）的笔尖，实时获取书写笔（4）在方形白纸（1）上所书写的图文信息，并将所获取的图文信息存入存储器（3‑5）内；此时，存入存储器（3‑5）内的实时所获取书写笔（4）在方形白纸（1）上所书写的图文信息，便为需交互信息；步骤203中所述需交互信息包括一组或多组图文信息；且所述需交互信息中的各组图文信息为纯文字信息、草图绘制信息、二维几何绘制信息、三维几何建模信息、物理信息或仿真按钮信息；其中，所述纯文字信息、草图绘制信息、二维几何绘制信息、三维几何建模信息和物理信息的图文信息分类符均为组合式标识符，所述组合式标识符由前后两个相同的标识符号组成；且所述纯文字信息、草图绘制信息、二维几何绘制信息、三维几何建模信息和物理信息，均包括前后两个相同的标识符号和置于两个所述标识符号之间的图文信息内容；所述仿真按钮信息的图文信息分类符为一个单独式标识符，且所述仿真按钮信息包括所述单独式标识符；步骤203中所述需交互信息中的任一组所述物理信息，均与一组仿真按钮信息通过关联单元进行关联；步骤三、信息交互，其信息交互过程如下：步骤301、信息分类符识别及信息分类：处理器（3‑1）调用符号识读模块，结合步骤一中所建立的交互信息识别模板库，对步骤203中所述需交互信息中的图文信息分类符进行识读，并根据所识读出的图文信息分类符对需交互图文信息中的一组或多组图文信息进行分类；所述符号识读模块所识读出的图文信息分类符总数量，即为方形纸上所绘制图文信息的组数；步骤302、信息处理：采用处理器（3‑1）对步骤203中所述需交互信息中的一组或多组图文信息，分别进行处理；且对任一组图文信息来说，所述处理器（3‑1）均根据步骤301中所识读出的该组图文信息的图文信息分类符，调用与该图文信息分类符相对应的信息处理模块对该组图文信息进行处理。