[发明专利]基于参数稀疏共享的中国方言语种分类系统

说明书

基于参数稀疏共享的中国方言语种分类系统，包括特征提取模块、基础网络训练模块、子任务网络训练模块、联合训练模块、输出模块；提取语音特征梅尔频率倒谱系数，基于不同的语音特征构建基础网络，定义子任务并基于基础网络为子任务选取测试集准确率表现最优的网络参数；将各个子任务网络集成基于参数稀疏共享机制的模型，并用各个子任务数据集对更新基本网络中对应的子任务网络参数；基于参数稀疏共享机制的模型具有分类准确率高，网络参数精简的优点。将语音特征输入到已训练的基于参数共享机制的模型中，可获取方言语种的预测结果。

技术领域

本发明属于学习语音分类技术领域，特别涉及基于参数稀疏共享的中国方言 语种分类系统。

背景技术

语音识别是人机交互的重要组成部分，现如今，基于深度神经学习的语音识 别系统日趋成熟，并在导航、沟通、智能家居、车载系统、教学等诸多领域都得 到广泛应用。由于用户输入语音存在口音、方言等特征，导致智能语音系统常常 出现无法准确识别的问题，进而需要用户矫正口音、重复输入语音指令，严重影 响用户使用体验。由此，预先自动判定输入音频语种是提升语音识别系统后端效 能的关键步骤。

当前，城市化进程加快，现代教育普及，承载地域文化的方言日渐式微.已 成为服务文化建设、中华优秀传统文化传承中国语言资源保护工程”的实施，为 记录、保存语言和方言文化提供了绝佳的契机。团队的首要任务，是将方言记录 与文化保存结合起来，抢救性地开展工作。方言的保护和研究已成为服务文化建 设、中华优秀传统文化传承的名片。当下理应努力挖掘和传承、弘扬方言所承载 的地域文化。2020年发布的《中国语言政策研究报告(2020)》(蓝皮书)分析 阐述了语言服务，语言研究的重要性和必要性。方言语种识别对中国语言资源保 护、语言服务规划的推进有重要意义，对智能应用程序发展提供发展方向。

目前的语音识别系统对于方言识别准确率支持较少，应用范围较小。由于我 国民族众多，语言文化差异大，方言多样复杂的特点，方言语种分类不可避免且 成为语种识别研究的难点。

发明内容

为克服上述现有技术的不足，本发明的目的是提供基于参数稀疏共享的中国 方言语种分类系统，解决现有技术的智能移动设备在预先自动判定输入音频语种 的问题；采用参数稀疏共享机制，提供了有较高分类准确率的方言语音参数稀疏 共享的中国方言语种分类系统。

为了实现上述目的，本发明采用的技术方案是：基于参数稀疏共享的中国方 言语种分类系统，构建基于参数稀疏共享的多任务模型，输入中国方言语音特征， 输出对应方言语种，包括有特征提取模块、基础网络训练模块、子任务网络训练 模块、联合训练模块、输出模块；所述特征提取模块用于原始音频预处理及MFCC (MFCC,Mel-frequencycepstral coefficients)，特征提取；所述基础网络训练模 块，针对MFCC特征建立基于CNN_LSTM(Convolutional neural network_Long Short-Term Memory)的神经网络模型，并以此作为基础网络，并优化至表现最 优的网络结构；所述子任务网络训练模块选择子任务，使用迭代裁剪方法依次为 所述子任务选择最优网络；所述联合训练模块用于将子任务网络及基础网络集成 形成基于稀疏共享机制的网络模型，输入各个任务数据更新基于稀疏共享机制的 网络模型对应的网络参数并保存模型；所述输出模块用于将语音特征输入至基于 稀疏共享机制的网络模型并输出语种预测结果。

所述特征提取模块包括:

1)原始语音缩短或扩充至统一时长2秒；

2)对统一时长的语音预加重、加窗、分帧、傅里叶变换处理；

3)Mel滤波器组处理、取对数、DCT离弦变换获取MFCC特征。

所述基础网络训练模块，该模块建立基于MFCC特征搭建CNN_LSTM网 络。所述网络最后一层为所述子任务各自的输出层。

所述子任务各自的输出层均为全连接层，输出大小为子任务分类类别。