[发明专利]一种语言模型训练方法、汉语拼音输入方法及装置

摘要

本申请实施例提供了一种语言模型训练方法及装置，该语言模型包括编码器和解码器。该方法包括：获取训练数据，训练数据包括成对的拼音编码序列和汉字编码序列，拼音序列包含多个拼音编码，每个拼音编码对应一个音节，汉字编码序列包含多个汉字编码，每个汉字编码对应一个汉字；以拼音编码序列作为编码器的输入，输出拼音编码序列的全局上下文特征和音节发音特征；以编码器输出的全局上下文特征和音节发音特征以及前序汉字编码序列作为解码器的输入，以汉字编码序列为解码器的目标输出，训练语言模型。从而，将该语言模型应用到输入法中，能够使输入法具备准确的整句输入能力，从而解决了现有技术的汉语拼音输入方法整句输入准确性差的问题。

主权项

1.一种语言模型训练方法，其特征在于，所述语言模型包括编码器和解码器，所述训练方法包括：获取训练数据，所述训练数据包括成对的拼音编码序列和汉字编码序列，所述拼音编码序列包含多个拼音编码，每个拼音编码对应一个汉语拼音音节，所述汉字编码序列包含多个汉字编码，每个汉字编码对应一个汉字；以拼音编码序列作为编码器的输入，以拼音编码序列的全局上下文特征和音节发音特征作为编码器的输出，以及，以编码器输出的全局上下文特征和音节发音特征以及前序汉字编码序列作为解码器的输入，以汉字编码序列为解码器的目标输出，训练语言模型；其中，所述训练语言模型包括使用拼音编码序列中的拼音编码和汉字编码序列中的汉字编码对语言模型进行逐音和逐字的步进训练；所述前序汉字编码序列为当前汉字编码之前所有汉字编码组成的汉字编码序列；所述以编码器输出的全局上下文特征和音节发音特征以及前序汉字编码序列作为解码器的输入，以汉字编码序列为解码器的目标输出，包括：获取每个音节的综合特征向量，所述综合特征向量由全局上下文特征向量与音节发音特征向量组合生成；对汉字编码序列进行词嵌入编码，生成每个汉字对应的汉字特征向量；对于每个音节，根据在拼音编码序列中对应的顺序，将音节的综合特征向量与音节对应的前一个汉字的汉字特征向量进行组合，得到音节的解码输入向量；对于每个音节，以对应的解码输入向量作为解码器的输入，训练解码器，输出对应的汉字特征预测向量，并使用所述汉字特征向量对所述汉字特征预测向量的输出进行监督，解码器由多层神经递归神经网络和全连接网络或卷积神经网络组成。