[发明专利]一种基于索引数据的自然语言处理方法和系统

说明书

本发明提供了一种基于索引数据的自然语言处理方法和系统，解决现有语言模型训练缺乏有效数据样本无法形成中文词汇特征准确表达的技术问题。方法包括：建立汉语语料的字形索引，根据字形索引形成汉语语料的基本向量，利用基本向量形成汉语的语句训练集；通过语句训练集对循环神经网络进行训练形成汉语语句模型；根据汉语语句模型获取汉语字符的语义隐性特征向量形成词向量。有利于形成与实际语义处理任务相适应的向量维度空间，为具体语义处理任务提供良好的样本衡量基础。避免了现有循环神经网络结构针对字符级别的汉语隐性相关性缺乏有效识别的严重缺陷。

技术领域

本发明涉及自然语言识别技术领域，具体涉及一种基于索引数据的自然语言处理方法和系统。

背景技术

现有技术中，通常采用训练语言模型对人类自然语言进行语义处理，良好的语言模型对自然语言的处理精度能有大幅提升。早期的语言模型使用TF-IDF算法利用语料词频形成字词的数值形式实现字词的数学量化，缺点是受词库影响易出现OOV(Out-of-vocabulary)问题。随后形成的Word2Vec算法形成基于大规模文本的训练语言模型，为每个单词生成了一个指定维度的静态词向量，通过维度的丰富性体现每个单词的隐含特征，这类模型促进了自然语言语义处理任务的发展，但缺点是忽略单词上下文和无法处理单词的歧义。目前较通用的训练语言模型利用预设基础向量的大量语料对循环神经网络例如LSTM(Long-Short Term Memory，长短期记忆人工神经网络)结构进行语言模型的训练形成语言模型，而后为每一个单词根据前后文生成隐性词向量。更进一步，训练形成双向语言模型，并利用训练好的双向语言模型生成包含双向隐性单词含义间张度的词向量。

采用上述语言模型进行中文语料训练存在明显系统性缺陷，针对印欧语系表音语言的训练形成的语言模型不能适应象形文字语系表意语言的语义表达，无法形成有效的隐性关联特征向量(字词向量)以体现例如中文语义的内涵关联。

发明内容

鉴于上述问题，本发明实施例提供一种基于索引数据的自然语言处理方法和系统，解决现有语言模型训练缺乏有效数据样本无法形成中文词汇特征准确表达的技术问题。

本发明实施例的基于索引数据的自然语言处理方法，包括：

建立汉语语料的字形索引，根据字形索引形成所述汉语语料的基本向量，利用所述基本向量形成汉语的语句训练集；

通过所述语句训练集对循环神经网络进行训练形成汉语语句模型；

根据所述汉语语句模型获取汉语字符的语义隐性特征向量形成词向量。

本发明一实施例中，还包括：

结合汉语所述字符的所述语义隐性特征向量和所述基本向量形成汉语字符的词向量。

本发明一实施例中，所述建立汉语语料的字形索引，根据字形索引形成所述汉语语料的基本向量，利用所述基本向量形成汉语的语句训练集包括：

确定汉字字符的笔划顺序并形成所述汉字字符的初始四角号码；

按所述笔划顺序形成所述汉字字符的顺序减笔划循环，循环次数不超过3次或在最后一次循环中保留一个笔划，在每次循环中形成剩余字形结构的顺序过渡四角号码；

按所述笔划顺序形成所述汉字字符的逆序减笔划循环，循环次数不超过4次或在最后一次循环中保留一个笔划，在每次循环中形成剩余字形结构的逆序过渡四角号码；

将所述顺序过渡四角号码、所述初始四角号码和所述逆序过渡四角号码依次形成所述汉字字符对应的四角号码字形索引；

根据所述四角号码字形索引形成所述汉语语料的基本向量。

本发明一实施例中，所述通过所述语句训练集对循环神经网络进行训练形成汉语语句模型包括：