[发明专利]一种便携式唇语识别系统

权利要求书

1.一种便携式唇语识别系统，其特征在于，包括：MCU、电源模块、采集模块、显示屏、外围模块；

所述的MCU选的是树莓派，并在树莓派中选定了4B型号，其使用的内核是Cortex-A72。所述的电源模块选用官方专为4B型号提供的USB-C电源，这个电源设计拥有过流、过温和输出短路保护，其输出功率也较高，满足要求。

所述的视频采集设备采用的是CSI这款CMOS摄像头，该摄像头体积小，工作电压低，而且免驱动，满足设计要求。

所述的显示屏采用7寸HDMI显示屏，分辨率为1024*600。其采用高清晰度多媒体接口传输音频和影像信号。

所述的外围模块主要包括鼠标模块和存储模块。鼠标模块主要用来控制主机的设置，更方便的在显示器显示结果，存储模块用来存储视频采集模块传来的视频信息。

2.根据权利要求1所述的系统，其特征在于，对采集到的唇读视频进行识别，为此需要对视频进行视频帧的抽取，通过STCNN网络提取到视频帧的唇部图像，再通过AConvLSTM网络对唇部图像进行时序编码，得到时序特征序列，最后通过softmanx分类器和CTC函数进行预测和优化，显示出预测结果。对于视频帧进行唇部图像的提取，需要STCNN网络计算，如公式1为STCNN计算公式：

如公式2-5和公式6为时序编码和分类的计算方法：

h_t＝o_t⊙tanh(C_t) 公式2

y＝softmax(w_iC_i+b) 公式6