[发明专利]触控辅助的实时语音识别系统及其同步解码方法

权利要求书

1.一种触控辅助的实时语音识别系统，包括：

触控动作检测单元，用于实时检测用户的触控操作，如果有预先定义的触控操作发生，抽取触控动作特征，该触控动作特征至少包括接触点位置坐标的时间序列，触控开始点时间和结束点时间；

触控动作辨识单元，用于利用所述触控动作检测单元抽取的用户触控动作特征对用户触控动作进行分类，得到该动作所表示的含义，输出表示该动作含义的特征向量；

语音端点检测单元，用于实时检测语音信号的有效开始点和结束点，进而启动或停止语音特征提取单元；

语音特征提取单元，用于实时提取语音信号的声学特征，该声学特征用于进行语音识别；

语音/动作同步解码单元，用于实时利用用户触控动作信息，对语音特征进行在线同步解码，输出语音识别结果。

2.如权利要求1所述的触控辅助的实时语音识别系统，其中用户触控动作的输入和语音输入是实时同步的，并且每个动作在时间上对应于一个特定语音单元；所述特定语音单元包括但不限于音素、音节、词或者句子等。

所述用户触控动作是指用户手指和触摸屏接触期间的移动轨迹。

3.如权利要求1所述的触控辅助的实时语音识别系统，其中所述动作检测单元可以检测到用户手指接触利离开触摸屏的时间以及手指接触屏幕期间的每个位置坐标，从接触屏幕到离开的触点位置坐标形成一个时间序列。

4.如权利要求1所述的触控辅助的实时语音识别系统，其中所述动作辨识单元根据用户手指触控位置或移动轨迹来判断用户动作所表示的含义，通常为用户动作所表示的若干语言或语音相关的符号。

5.如权利要求4所述的触控辅助的实时语音识别系统，其特征在于所述动作辨识单元所输出的用户动作的含义通常表示为若干特定语言或语音相关的符号的置信度向量。

6.如权利要求1所述的触控辅助的实时语音识别系统，其中所述语音端点检测单元可以采用用户触控动作来实现语音端点的实时检测，主要包括：首先定义特定的用户触控动作来表示语音起始点和结束点，然后通过检测预定义的用户触控动作来标识用户语音的开始点和结束点。

7.如权利要求1所述的触控辅助的实时语音识别系统，其中所述语音/动作同步解码单元的语音/动作同步解码的过程可用下述公式实现：

W~=argmaxW∈S[αlpgP(O|W)+βlogP(W)+γlogP(A|W,O)]]]>

其中：S表示所有所有可能的词串集合，O＝[o₁，...，o_T]表示声学观察序列，A＝[a₁，...，a_T]表示观察到的用户动作特征序列，P(O |W)表示给定词串W产生声学观察O的概率，P(W)表示词串W出现的概率，P(A|W，O)表示给定词串W和声学观察序列O产生用户动作序列A的概率，α、β和γ分别为声学模型概率、语言模型概率和用户动作概率的权重。