[发明专利]一种基于画屏的语音交互方法、画屏及存储介质

说明书

本说明书提供一种基于画屏的语音交互方法，由所述画屏执行，该述方法包括：接收用户的语音输入；对所述用户的语音输入进行分帧，得到至少一个语音帧；对所述至少一个语音帧进行声学特征提取，得到至少一个特征向量；将所述至少一个特征向量输入经过训练的声学模型，确定所述至少一个特征向量对应的至少一个音素；根据所述至少一个音素，确定与所述用户的语音输入对应的文本；使用所述文本与预先存储的指令库中的指令进行文本匹配，得到所述文本对应的语音操作指令；以及执行所述语音操作指令，并返回所述语音操作指令的执行结果。本说明书还提供了基于上述方法的画屏以及计算机可读存储介质。

技术领域

本说明书涉及智能家居技术领域，尤其涉及一种基于画屏的语音交互方法、一种画屏及计算机可读存储介质。

背景技术

画屏是一种可以将数字化的绘画、影像、文物、非遗等艺术品通过人工智能及新型显示等技术进行展示的数字艺术欣赏与交易平台。一方面，画屏的显示屏幕可以采用无损伽马技术，搭载智能感应调节显示以及智能光感技术，还原艺术品的本真质感。另一方面，通过客户端应用和云端数据库，可以从内容库、用户、收藏者与上传者等多个维度构建画屏生态系统，让用户足不出户即可遍览全球艺术珍品。目前，画屏作为一种智能家居设备得到了越来越多用户的认可，使用也越来越广泛。

发明内容

有鉴于此，本说明书提出一种基于画屏的语音交互方法、画屏以及计算机可读存储介质，可以为画屏提供语音交互功能，从而为画屏用户提供语音操作方式，方便用户的使用。

基于上述目的，本说明书提供了一种基于画屏的语音交互方法，可以包括：接收用户的语音输入；对所述用户的语音输入进行分帧，得到至少一个语音帧；对所述至少一个语音帧进行声学特征提取，得到至少一个特征向量；将所述至少一个特征向量输入经过训练的声学模型，确定所述至少一个特征向量对应的至少一个音素；根据所述至少一个音素，确定与所述用户的语音输入对应的文本；使用所述文本与预先存储的指令库中的指令进行文本匹配，得到所述文本对应的语音操作指令；以及执行所述语音操作指令，并返回所述语音操作指令的执行结果。

其中，上述使用所述文本与预先存储的指令库中的指令进行文本匹配可以包括：将所述文本输入经过训练的文本匹配模型，得到所述文本与预先存储的指令库中各个指令的相似度；以及将所述各个指令中相似度最高的指令作为所述文本对应的语音操作指令。

其中，上述文本匹配模型可以包括：深度结构化语义模型，增强序列推理模型，双线性卷积神经网络以及双向多角度模型中的至少一个。

其中，上述将所述各个指令中相似度最高的指令作为所述文本对应的语音操作指令可以包括：响应于相似度最高的指令包括多个指令，获取所述画屏当前的状态信息；以及根据画屏当前的状态信息从所述多个指令中选择一个语音操作指令作为所述文本对应的语音操作指令。

其中，上述状态信息可以包括：所述画屏当前开启的功能模块；上述从所述多个指令中选择一个语音操作指令可以包括：响应于所述画屏当前开启了管理控制功能，则选择管理控制功能对应的语音操作指令；响应于所述画屏当前开启了多媒体播放功能，则选择多媒体播放功能对应的语音操作指令；响应于所述画屏当前仅开启了画作显示功能，则选择画作显示功能对应的语音操作指令。

其中，在对所述用户的语音输入进行分帧之前，上述方法进一步可以包括：将所述用户的语音输入声音波形的首尾两端的静音部分切除。

其中，上述语音操作指令包括：针对画屏所展示画作的操作指令、针对画屏所播放多媒体的操作指令、针对画屏操作的问题中的至少一个。

其中，上述语音操作指令包括：文件下载指令，其中，所述文件可以包括画作文件或多媒体文件；述执行所述语音操作指令可以包括：向画屏服务器发送文件下载请求；其中，在所述文件下载请求中携带所述用户的语音输入；接收所述云端服务器根据所述用户的语音输入确定的文件链接；以及根据所述文件链接下载相应文件，并显示或播放所下载的文件。