[发明专利]语音识别方法、装置、设备及可读存储介质

权利要求书

1.一种语音识别方法，其特征在于，包括：

获取与待识别语音相关的材料数据；

确定所述材料数据包含的内容信息，并至少基于所述内容信息的语义特征及所述内容信息在所述材料数据中的视觉表现特征，确定所述材料数据对应的初步参考文本；

基于所述初步参考文本，确定所述待识别语音对应的参考文本集；

结合所述参考文本集对所述待识别语音进行语音识别，得到语音识别结果；

所述结合所述参考文本集对所述待识别语音进行语音识别，得到语音识别结果，包括：使用语音识别模型对所述待识别语音进行识别，得到初步语音识别结果；利用所述参考文本集中的参考文本，对所述初步语音识别结果进行修正，得到修正后的语音识别结果。

2.根据权利要求1所述的方法，其特征在于，所述至少基于所述内容信息的语义特征及所述内容信息在所述材料数据中的视觉表现特征，确定所述材料数据对应的初步参考文本，包括：

基于所述内容信息的语义特征及所述内容信息在所述材料数据中的视觉表现特征，确定所述材料数据对应的初步参考文本；

或，

基于所述内容信息的语义特征、所述内容信息在所述材料数据中的视觉表现特征及所述材料数据的属性特征，确定所述材料数据对应的初步参考文本。

3.根据权利要求2所述的方法，其特征在于，

若基于所述内容信息的语义特征及所述内容信息在所述材料数据中的视觉表现特征，确定所述材料数据对应的初步参考文本，则所述内容信息在所述材料数据中的视觉表现特征包括以下任意一项或多项的组合：

内容信息在所述材料数据中的格式、排版、位置；

若基于所述内容信息的语义特征、所述内容信息在所述材料数据中的视觉表现特征及所述材料数据的属性特征，确定所述材料数据对应的初步参考文本，则所述内容信息在所述材料数据中的视觉表现特征包括以下任意一项或多项的组合：

内容信息在所述材料数据中的格式、排版、位置；

所述材料数据的属性特征包括以下任意一项或多项的组合：

材料数据的类型、材料数据的风格、材料数据的编著人属性信息。

4.根据权利要求1所述的方法，其特征在于，若所述至少基于所述内容信息的语义特征及所述内容信息在所述材料数据中的视觉表现特征，确定所述材料数据对应的初步参考文本，包括：基于所述内容信息的语义特征及所述内容信息在所述材料数据中的视觉表现特征，确定所述材料数据对应的初步参考文本，则所述基于所述内容信息的语义特征及所述内容信息在所述材料数据中的视觉表现特征，确定所述材料数据对应的初步参考文本，包括：

确定所述内容信息的语义特征及所述内容信息在所述材料数据中的视觉表现特征；

将所述语义特征及所述视觉表现特征输入配置的关键信息确定模型，得到模型输出的关键信息，作为材料数据对应的初步参考文本，其中：

所述关键信息确定模型以训练数据所包含的内容信息的语义特征及内容信息在训练数据中的视觉表现特征为训练样本，以标注的与训练数据对应的关键信息为样本标签训练得到。

5.根据权利要求4所述的方法，其特征在于，确定所述内容信息的语义特征的过程，包括：

若所述内容信息为文本信息，则对所述文本信息进行分词，并确定每一分词的词向量作为分词的语义特征；

若所述内容信息为多媒体信息，则以所述多媒体信息为检索条件，检索相关文本信息，并对所述相关文本信息进行分词，确定每一分词的词向量作为分词的语义特征。

6.根据权利要求4所述的方法，其特征在于，确定所述内容信息在所述材料数据中的视觉表现特征的过程，包括：

若所述内容信息为文本信息，则对所述文本信息进行分词，并确定每一分词在所述材料数据中所处的图像区域，基于所述图像区域确定每一分词的视觉表现特征；

若所述内容信息为多媒体信息，确定所述多媒体信息在所述材料数据中所处的图像区域，基于所述图像区域确定所述多媒体信息的视觉表现特征。