[发明专利]面向直播场景的实时字幕翻译及系统实现方法

权利要求书

1.一种面向直播场景的实时字幕翻译及系统实现方法，其特征在于，包括如下步骤：

S1、使用训练数据集训练深度卷积神经网络；

S2、对输入的每帧语音进行傅里叶变换，将时间和频率作为图像的两个维度，获取输入的语音信号的语谱图；

S3、将获取的语谱图输入已经训练好的深度卷积神经网络，得到与语音信号相对应的文本数据；

S4、将所述文本数据实时显示在屏幕上；

S1具体包括如下步骤，

S11、使用训练数据集对深度卷积神经网络进行训练，得到训练后的深度卷积神经网络；

S12、使用梯度下降法来优化所有参数以减少代价函数；

S13、使用梯度下降法进行训练，更新网络所有层的所有权重；

S2具体包括如下步骤，

S21、对一段语音信号x(t)，对其进行分帧处理，将其变为x(m,n)，其中m表示帧的个数，n表示帧长；

S22、做快速傅里叶变换，将x(m,n)转换为X(m,n)；

S23、做周期图Y(m,n)，其中Y(m,n)=X(m,n)*X(m,n)’，X(m,n)’表示对X(m,n)求转置；

S24、取10*lg(Y(m,n))，根据时间将m变换得到刻度M，根据频率将n变换得到刻度N；

S25、就(M,N,10lg(Y(m,n)))生成二维图或者三维图；

S3具体包括如下步骤，

S31、对所获取的语音信号的语谱图进行图像识别；

S32、将语谱图输入训练好的深度卷积神经网络中，利用众多卷积层和池化层，对整句语音进行建模，输出单元直接与最终的识别结果相对应、并以此作为文本数据，所述最终的识别结果为汉字。

2.根据权利要求1所述的面向直播场景的实时字幕翻译及系统实现方法，其特征在于：所述训练数据集包括多种语音信号的语谱图以及与所述语音信号对应的文本数据。

3.根据权利要求1所述的面向直播场景的实时字幕翻译及系统实现方法，其特征在于：所述深度卷积神经网络使用了多个卷积层和池化层，且每两个卷积层后连接一个池化层，第一个卷积层的输出为第二个卷积层的输入，第二个卷积层的输出为池化层的输入；每个卷积层使用3*3的过滤器。