[发明专利]一种面向智能家居环境的人机交互控制方法

说明书

技术领域

本发明涉及一种面向智能家居环境的人机交互控制方法，属于基于音视频的人机交互系统的智能家居环境控制方法。

背景技术

智能家居是物联网技术在住宅中的有效体现，利用综合布线、网络通信和自动控制等技术将家居生活相关的各类设施（如灯具、窗帘等）集成，提供多种模式下家居设备联合控制的功能和手段，可以有效地提升用户在家居生活中的便利和舒适。

当前的智能家居系统中，人机交互的主要实现方式有三种：（1）触屏控制，通过直接触碰开关或控制面板中对应控件的方式控制家居环境中的单个设备，但使用者需与设备开关或面板直接接触，操作存在局限性；（2）视频控制，目前出现了基于手势识别或其他肢体的视频智能家居控制方式，但大都依赖于控制器，使用者必须处于控制器前端摄像头指定的区域内才能进行有效的操作，显然造成了不便；（3）语音控制，目前的大部分家居环境中，仅实现了语音识别及合成的功能之一，或加入了音乐播放功能，但大都未实现人机会话功能，使得人机交互的体验感不强。

目前出现的很多人机交互系统都具备视频、语音、照明等功能，但没有很好地与家居设备的控制功能相结合，或仅可控制单个设备，未实现对智能家居情景模式（即同时触发多个家居设备）的控制。同时，目前没有一种人机交互系统能够在融合视频人脸检测、语音合成与识别、智能会话等多种人机交互模式的前提下，又能控制单个设备和情景模式的智能家居人机交互控制系统。

发明内容

为克服现有智能家居环境中人机交互控制系统的不足，本发明目的在于提供一种面向智能家居环境的人机交互控制方法；将人脸检测、语音识别与合成、智能会话与Zigbee控制技术进行了有效集成，无需手控，仅通过视频和语音技术，即可达到无接触，口令式控制智能家具环境中单个设备或情景模式的目的，方便各类人群的使用。

为了实现上述目的，本发明采用如下技术方案：

一种面向智能家居环境的人机交互控制方法，该方法包含如下步骤：

A、开启程序：保证在程序启动后，各类家居设备均处于关闭状态，摄像头处于开启状态，对准需检测区域；

B、“回家模式”的人机交互：实现在智能家具环境中，基于人脸检测和语音合成的人机交互控制:

（1）、人脸检测模块：基于VC++平台，使用OpenCV计算机视觉库提供的haar检测器实现人脸检测功能，并框出人脸区域；可通过设定在前后两次扫描中搜索窗口的比例系数及构成检测目标的相邻矩形的最小个数的值，满足对检测视域的要求；

（2）、语音合成模块：检测到人脸后，以此触发语音合成线程，基于Mi?c?r?o?s?o?f?t?S?p?e?e?c?h?S?D?K实现语音合成功能，调用TTS核心API接口ISpVoice中的speak函数，将预先设定的文本“欢迎回家”输入到speak函数中完成语音合成；通过CvoiceText类中的SpeedSet、TTSModeSet函数可改变语音的速度、音调、性别、年龄等，使计算机发现不同的声音；

（3）、Zigbee控制功能模块：通过内部无线网络，向网关发送触发对应家居设备开启的无线数据信号，通过zigbee网络向指定路由节点或终端节点发送控制命令，驱动相应的家居设备，实现“回家模式”开启的功能；

C、“学习模式”等室内情景模式的人机交互：实现在智能家具环境中的语音识别与合成、智能会话的人机交互过程；

（1）、语音识别模块：主要分为录音阶段和发送至讯飞云平台识别阶段：首先录音过程采用Windows自带的API函数，通过录音程序获取需要识别的音频文件；然后将音频文件输入到讯飞语音识别函数接口中进行处理，输出与音频相对应的文本；

（2）、Zigbee控制功能模块：根据语音识别结果中的关键词，获取相应的情景模式的驱动信号；通过内部无线网络，向网关发送触发对应各家居设备开启的无线数据信号，驱动相应的家居设备，实现“学习模式”中设备的开启；

（3）、智能会话模块：根据输入语音识别结果中的关键词，基于会话库，找到会话库中对应的应答语句；

（4）、语音合成模块：根据会话库匹配结果，以音频的方式输出的应答文本，基于Mi?c?r?o?s?o?f?t?S?p?e?e?c?h?S?D?K实现语音合成功能，调用TTS核心API接口ISpVoice中的speak函数，将应答文本输入speak函数中完成语音合成，完成人机对话过程；

D、“出门模式”的人机交互：实现在智能家具环境中的语音识别与合成、智能会话及关闭所有家居设备的人机交互过程；