[发明专利]一种基于虚拟现实的言语失用症康复训练方法

摘要

本发明公开了一种基于虚拟现实的言语失用症康复训练方法。本发明方法采用头显设备和计算机：头显设备包括内置有定位模块的头戴式显示器和手柄；计算机与头显设备连接，提供康复训练虚拟场景的画面。该方法包括：通过计算机将言语失用症康复训练画面传输到头显设备，使用者通过手柄与虚拟物品进行交互，学习虚拟场景中物品的发音；计算机将虚拟人嘴型画面传输到头显设备，使用语音在虚拟场景中与虚拟人进行交互，学习完成后进入训练模块虚拟场景；使用者用语音在虚拟场景中与虚拟物品进行交互，获得训练分数信息，计算机实时获取头戴式显示器、手柄的反馈信息。本发明方法减少了言语失用症康复训练的成本、提高了患者训练的积极性和治疗效果。

主权项

1.一种基于虚拟现实的言语失用症康复训练方法，该方法采用的康复训练设备包括：头显设备，包括头戴式显示器、与所述头戴式显示器无线交互的手柄；所述头戴式显示器和手柄均内置有定位模块，所述的定位模块用于空间内同时追踪头戴式显示器与手柄的定位；计算机，与所述头显设备连接；计算机为头显设备提供康复训练虚拟场景的画面；其特征在于，该方法的具体包括：(1).计算机将言语失用症康复训练画面传输到头显设备，提供言语失用症康复训练虚拟场景，使用者用手柄在虚拟康复训练中与虚拟物品进行交互，学习虚拟场景中物品的发音，点击学习按钮进入学习模块虚拟场景；(2).计算机将虚拟人嘴型画面传输到头显设备，提供学习的虚拟场景，使用者用语音在虚拟场景中与虚拟人进行交互，学习完成后，点击训练按钮进入训练模块虚拟场景；使用者用语音在虚拟场景中与虚拟人进行交互，采用音素识别器将输入的语音转换为音素输入；所述的音素为语言的最小可分单元，采用实时音素识别器将输入的语音实时转换为音素；具体方法如下：在语音识别系统中，一段语音信号经过特征提取后得到一个特征序列O＝(o₁,o₂,…,o_i)，假定该特征帧序列对应的一个音素串为W＝(ω₁,ω₂,…,ω_n),那么连接语音识别的任务就是在语言L中找到与O对应的最可能音素串满足：在基于隐马尔可夫模型语音识别中，使用Veterbi搜索算法，每处理一个特征序列即得到当前最佳的音素串,由式(1)得到t时刻的最佳音素串：其中，o_t为t时刻输入的特征帧，表示音素串的最后一个音素；由(s1)得到t+1时刻到t+N‑1时刻的N‑1个音素序列：如果连续N个特征帧搜索到的最佳音素序列的最后一个音素都相同，设为并且与上一个已经识别输出的发音音素不同，那么将作为当前的发音音素输出，即如果t到t+N‑1时刻得到的最佳音素序列满足：则把当作当前正在发音的音素输出；(3).计算机将训练画面传输到头显设备，提供训练的虚拟场景，使用者用语音在虚拟场景中与虚拟物品进行交互，获得训练分数信息，计算机实时获取头戴式显示器、手柄的反馈信息；采用动态视素来描述某一视素发音时口型从产生到消失的完整变化过程：每个视素的每一个面部动画参数都定义一个控制函数，同时引入了两个无声模型以及他们各自的控制函数；p表示视素s的某一个面部动画参数，p在s中的控制函数D_sp表示为：其中：α_sp表示控制函数的峰值，θ_sp(‑)、θ_sp(+)是衰减系数，c是常数，τ表示当前时刻到控制函数中心时刻的距离τ＝t_s0‑t，t_s0表示当前时刻；两个无声模型分别表示无声到有声和有声到无声的口型转变；其中：从无声到有声的控制函数为：其中σ＝t_l0‑t，t_l0表示左无声模型中心的时刻；从有声到无声的控制函数为：其中v＝t_r0‑t，t_r0表示右无声模型中心的时刻；任意时刻视素的动态参数由其静态值按照(s2)～(s4)表示的控制函数加权构成：其中：T_0p为自然状态下中参数p的静态值；T_sp为视素s中参数p的静态值。