[发明专利]基于视觉识别和语音识别的人与大屏多模态自然交互方法

权利要求书

1.基于视觉识别和语音识别的人与大屏多模态自然交互方法，其特征在于，所述方法的系统工作流程主要包括：光学感知模块，通过实时光学图像获取场景产生的2D或3D视觉信息；图像识别模块，从所获视觉信息中提取用户的手指和手臂的2D或3D位置和运动信息；图像分析模块，根据系统预设的信号源光标初始位置信息库和动作交互指令库模型，从所述用户的手指和手臂的2D或3D位置和运动信息中提取人与大屏上的显示内容进行交互时产生的交互位置信息和动作交互指令信息；声音感知模块，通过麦克风阵列获取场景的声音信息；语音识别模块，通过所述声音信息提取用户的语音文字信息；语音分析模块，根据系统预设的语音交互指令模型库，从所述语音文字信息中提取用户的语音交互指令信息；窗口交互模块，从所述的动作交互指令或语音交互指令中获取交互窗口信息（指具体某个大屏信号显示窗口）、交互窗口指令信息（指大屏信号显示窗口的放大、缩小、漫游、切换、打开或关闭等）、和光标的初始位置信息；交互位置模块，根据用户手指或手臂的移动和大屏上的光标的初始位置，确定光标的交互位置信息；交互命令模块：根据光标的交互位置信息、动作交互指令或语音交互指令，生成交互命令信息，用来驱动视频信号源设备改变显示内容，或驱动视频交互矩阵改变视频信号的输出方式；视频信号源：用来输出需要显示的视频信号；视频交互矩阵，根据交互命令将视频信号源的视频信号发给显示大屏；显示大屏，显示视频交互矩阵传来的多路视频信号。

2.根据权利1所述的基于视觉识别和语音识别的人与大屏多模态自然交互方法，其特征在于，优选地，光学感知模块和图像识别模块采用微软公司开发的Azure Kinect，该产品是将深度感应器、高清相机和空间麦克风阵列结合在一起的企业应用方案，它以3D的方式跟踪移动中的人体，从而获得完整清晰和唯一性鉴别的多骨骼身体跟踪能力，继而能对手指和手臂动作进行准确跟踪，将用户的手指位置信息和手臂动作信息通过有线或无线方式发给下位机。

3.根据权利1所述的基于视觉识别和语音识别的人与大屏多模态自然交互方法，其特征在于，优选地，声音感知模块和语音识别模块采用科大讯飞公司或百度公司开发的语音感知和识别产品，该产品通过麦克风阵列获取用户的语音信号，并将其识别和转化为语音文字信息，通过有线或无线方式发给下位机。

4.根据权利1所述的基于视觉识别和语音识别的人与大屏多模态自然交互方法，其特征在于，优选地，图像分析模块、语音分析模块、窗口交互模块、交互位置模块、交互命令模块由自然交互服务器中的不同软件功能模块实现，自然交互服务器为一台计算机。

5.根据权利1所述的基于视觉识别和语音识别的人与大屏多模态自然交互方法，其特征在于，图像分析模块所对应的计算机软件，根据系统预设的信号源光标初始位置信息库和动作交互指令库模型，从所述用户的手指和手臂的2D或3D位置和运动信息中提取人与大屏上的显示内容进行交互时产生的交互位置信息和动作交互指令信息；语音分析模块所对应的计算机软件，根据系统预设的语音交互指令模型库，从所述语音文字信息中提取用户的语音交互指令信息；窗口交互模块所对应的计算机软件，从所述的动作交互指令或语音交互指令中获取交互窗口信息（指具体某个大屏信号显示窗口）、交互窗口指令信息（指大屏信号显示窗口的放大、缩小、漫游、切换、打开或关闭等）、和光标的初始位置信息；交互位置模块所对应的计算机软件，根据用户手指或手臂的移动和大屏上的光标的初始位置，确定光标的交互位置信息；交互命令模块所对应的计算机软件，根据光标的交互位置信息、动作交互指令或语音交互指令，生成交互命令信息，用来驱动视频信号源设备改变显示内容，或驱动视频交互矩阵改变视频信号的输出方式。