[发明专利]基于GRPC实现Kaldi语音识别服务的方法、系统及介质

说明书

本发明涉及语音识别领域，具体涉及基于GRPC实现Kaldi语音识别服务的方法及系统，旨在解决现有技术中基于Kaldi的语音识别模型工业部署应用较为困难的技术问题。为此，根据本发明实施例的方法，在预先定义的GRPC框架下服务端接收客户端发送的序列化语音识别请求，进行反序列化得到原始语音音频数据，按照定义的交互字段中的参数解析语音数据以统一转换成PCM数据格式，继续以交互字段中的参数确定的服务需求选择对应的语音识别核心算法模型对该PCM格式的音频进行解码得到识别结果，将识别结果序列化后返回客户端。通过该方法使得语音识别算法经远程调用无需依赖于固定框架，更加灵活性、可扩展性强、资源利用率高、并发度高，且不便于算法模型的迭代更新。

技术领域

本发明涉及语音识别领域，具体涉及一种基于GRPC实现Kaldi语音识别的方法及系统。

背景技术

基于Kaldi HMM-DNN混合架构的语音识别模型在识别语音的能力上有很大优势，但在工业部署与使用的时候非常困难，一般常用的方法是先将Kaldi Nnet3模型通过模型转换工具转换成ONNX模型，然后使用其他的深度学习引擎来使用ONNX模型提供语音识别服务(例如：MACE移动端AI计算引擎)，或者是使用Tensorflow Serving的方式进行部署，但这两种方式所使用的框架固定，不易修改，对于语音识别服务来说，灵活性差，扩展性较差，且仅支持Kaldi神经网络推理部分的算子，WFST解码仍需借助Kaldi自身进行解码。

而Kaldi原生提供的基于Websocket和Gstreamer框架的语音识别引擎可以提供一定的语音服务能力，但是在内存资源占用，解码速度，并发度上均无法满足实际工业部署要求。

并且，语音识别引擎一般对外提供Rest-API的访问方式，没有对传输的音频数据进行序列化压缩机制，不利于长时语音音频大文件的数据传输，在需要双向流式交互的场景下使用也极为困难。

另一方面，语音音频格式多样，而一般语音识别引擎仅支持事先定义好的一类音频格式(例如16k/8k采样率)，无法动态适应不同的需求。

因而，现有的基于Kaldi HMM-DNN混合架构的语音识别模型虽然语音识别优势大但实际应用部署难度大，扩展性灵活性差，且部署后解码速度、并发度、资源占用、交互、动态适配性等都不能满足实际应用需求，使得用户体验较差，需要更灵活更容易扩展且用户体验更优的方案。

发明内容

为了克服上述缺陷，提出了本发明，以解决或部分解决如何更简单快捷地利用基于Kaldi的语音识别模型实现高效灵活可扩展的语音识别服务的技术问题，以提升用户体验。为此，本发明提供一种基于GRPC实现Kaldi语音识别服务的方法、系统及介质。

第一方面，提供一种基于GRPC实现Kaldi语音识别服务的方法，包括：接收经GRPC定义的客户端发送的语音识别请求，其中，所述语音识别请求中包括经过序列化的待识别的语音音频数据和音频参数字段信息；对所述语音识别请求进行反序列化操作，得到待识别的所述语音音频数据和所述音频参数字段信息；根据所述音频参数字段信息对待识别的所述语音音频数据进行解析，以将待识别的所述语音音频数据统一转换成PCM数据格式的音频数据；根据所述音频参数字段信息选择对应的Kaldi语音识别服务模型，以对所述转换成PCM数据格式的音频数据进行解码并得到识别结果；将所述识别结果序列化后发送回所述经GRPC定义的客户端。

其中，所述GRPC定义的具体过程包括：根据GRPC的ProtoBuf的结构，预先定义与语音识别服务模式、音频格式、待识别的语音音频数据、采样率、以及音频长度相关的参数字段信息，以获得定义好的GRPC的ProtoBuf协议；根据所述ProtoBuf协议编译生成进行GRPC语音识别服务的客户端与服务端的GRPC服务接口代码，以便进行客户端和服务端之间的远程调用；其中，具有所述GRPC服务接口代码的客户端为经GRPC定义的客户端；其中，具有所述GRPC服务接口代码的服务端为经GRPC定义的服务端。