[发明专利]智能终端与用户交互的方法、装置、设备及存储介质

权利要求书

1.一种智能终端与用户交互的方法，多个麦克风和/或多个摄像头沿周向方向均匀设置在所述智能终端上，其特征在于，包括：

采用全息影像技术展示虚拟三维视觉形象；

所述多个麦克风中的每个麦克风采集用户语音信息和/或所述多个摄像头中的每个摄像头拍摄图像；

获取每个麦克风采集的用户语音信息对应的音量大小，根据每个麦克风采集的用户语音信息对应的音量大小的差值确定用户当前位置，和/或，去除所述多个摄像头拍摄的图像中没有拍摄到用户图像信息的图像，根据多个拍摄到用户图像信息的图像中用户图像的角度和大小确定用户当前位置；

计算用户当前位置与虚拟三维视觉形象正面在旋转周向上所处的当前位置的相对位置，所述相对位置中具有旋转周向上的相对旋转角度信息；

根据所述相对旋转角度信息控制光束发射方向使虚拟三维视觉形象旋转至正对所述用户的位置；

根据所述用户语音信息和/或用户图像信息对用户语义和/或用户表情及肢体动作进行识别；

根据识别结果获取与所述识别结果对应的回答和/或操作；所述智能终端上预存有用户语义和/或用户表情及肢体动作对应的虚拟三维视觉形象的回答和/或操作；

控制所述虚拟三维视觉形象进行与所述识别结果对应的回答和/或操作。

2.根据权利要求1所述的方法，其特征在于，所述根据所述用户语音信息和/或用户图像信息对用户语义和/或用户表情及肢体动作进行识别，包括：

将所述用户语音信息和/或用户图像信息输入到优化后的深度学习模型中；

采用所述优化后的深度学习模型对用户语义和/或用户表情及肢体动作进行识别，并输出所述识别结果。

3.一种智能终端与用户交互的装置，多个麦克风和/或多个摄像头沿周向方向均匀设置在所述智能终端上，其特征在于，包括：

三维形象展示模块，用于采用全息影像技术展示虚拟三维视觉形象；

信息采集模块，用于采集用户语音信息和/或用户图像信息，其中，所述多个麦克风中的每个麦克风均采集用户语音信息，所述多个摄像头中的每个摄像头均拍摄图像；

用户当前位置确定模块，用于获取每个麦克风采集的用户语音信息对应的音量大小，根据每个麦克风采集的用户语音信息对应的音量大小的差值确定用户当前位置，和/或，去除所述多个摄像头拍摄的图像中没有拍摄到用户图像信息的图像，根据多个拍摄到用户图像信息的图像中用户图像的角度和大小确定用户当前位置；

三维形象方位调整模块，用于计算用户当前位置与虚拟三维视觉形象正面在旋转周向上所处的当前位置的相对位置，所述相对位置中具有旋转周向上的相对旋转角度信息；

根据所述相对旋转角度信息控制光束发射方向使虚拟三维视觉形象旋转至正对所述用户的位置；

识别模块，用于根据所述用户语音信息和/或用户图像信息对用户语义和/或用户表情及肢体动作进行识别；

三维形象回应模块，用于根据识别结果获取与所述识别结果对应的回答和/或操作；所述智能终端上预存有用户语义和/或用户表情及肢体动作对应的虚拟三维视觉形象的回答和/或操作；

控制所述虚拟三维视觉形象进行与所述识别结果对应的回答和/或操作。

4.根据权利要求3所述的装置，其特征在于，所述识别模块，具体用于：

将所述用户语音信息和/或用户图像信息输入到优化后的深度学习模型中；采用所述优化后的深度学习模型对用户语义和/或用户表情及肢体动作进行识别，并输出所述识别结果。

5.一种终端设备，其特征在于，包括：全息金字塔，麦克风和/或摄像头及控制器；

所述全息金字塔，用于展示虚拟三维视觉形象；

所述麦克风，用于采集用户语音信息；

所述摄像头，用于拍摄用户图像信息；

所述控制器包括存储器和处理器，其中所述存储器存储有计算机程序，所述程序被所述处理器执行时实现如权利要求1-2任一项所述的方法。

6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行如权利要求1-2中任一项所述的方法。