[发明专利]一种基于索引数据的自然语言处理方法和系统

权利要求书

1.一种基于索引数据的自然语言处理方法，其特征在于，包括：

建立汉语语料的字形索引，根据字形索引形成所述汉语语料的基本向量，利用所述基本向量形成汉语的语句训练集；

通过所述语句训练集对循环神经网络进行训练形成汉语语句模型；

根据所述汉语语句模型获取汉语字符的语义隐性特征向量形成词向量；

所述建立汉语语料的字形索引，根据字形索引形成所述汉语语料的基本向量，利用所述基本向量形成汉语的语句训练集包括：

确定汉字字符的笔划顺序并形成所述汉字字符的初始四角号码；

按所述笔划顺序形成所述汉字字符的顺序减笔划循环，循环次数不超过3次或在最后一次循环中保留一个笔划，在每次循环中形成剩余字形结构的顺序过渡四角号码；

按所述笔划顺序形成所述汉字字符的逆序减笔划循环，循环次数不超过4次或在最后一次循环中保留一个笔划，在每次循环中形成剩余字形结构的逆序过渡四角号码；

将所述顺序过渡四角号码、所述初始四角号码和所述逆序过渡四角号码依次形成所述汉字字符对应的四角号码字形索引；

根据所述四角号码字形索引形成所述汉语语料的基本向量。

2.如权利要求1所述的基于索引数据的自然语言处理方法，其特征在于，还包括：

结合汉语所述字符的所述语义隐性特征向量和所述基本向量形成汉语字符的词向量。

3.如权利要求1所述的基于索引数据的自然语言处理方法，其特征在于，所述通过所述语句训练集对循环神经网络进行训练形成汉语语句模型包括：

在所述汉语语句模型中建立至少一层双向循环神经网络结构；

形成输入数据在所述循环神经网络结构的前向传播迭代和后向传播迭代；

在满足所述循环神经网络结构的预设迭代计数或满足输出结果概率分布范围时停止模型训练，保存所述汉语语句模型的优化参数集合。

4.如权利要求3所述的基于索引数据的自然语言处理方法，其特征在于，所述根据所述汉语语句模型获取汉语字符的语义隐性特征向量形成词向量包括：

将中文文本的基本向量序列输入所述汉语语句模型；

所述汉语语句模型输出每一个汉语字符的上下文相关性的前向语义隐性特征向量和所述每一个汉语字符的上下文相关性的后向语义隐性特征向量；

连接所述前向语义隐性特征向量和所述后向语义隐性特征向量形成所述汉语字符的语义隐性特征向量作为所述词向量。

5.一种基于索引数据的自然语言处理系统，其特征在于，包括：

存储器，用于存储如权利要求1至4任一所述的基于索引数据的自然语言处理方法中处理步骤对应的程序代码；

处理器，用于执行所述程序代码。

6.一种基于索引数据的自然语言处理系统，其特征在于，包括：

训练集建立装置，用于建立汉语语料的字形索引，根据字形索引形成所述汉语语料的基本向量，利用所述基本向量形成汉语的语句训练集；

模型训练装置，用于通过所述语句训练集对循环神经网络进行训练形成汉语语句模型；

特征提取装置，用于根据所述汉语语句模型获取汉语字符的语义隐性特征向量形成词向量；

所述训练集建立装置包括：

初始索引形成模块，用于确定汉字字符的笔划顺序并形成所述汉字字符的初始四角号码；

顺序索引形成模块，用于按所述笔划顺序形成所述汉字字符的顺序减笔划循环，循环次数不超过3次或在最后一次循环中保留一个笔划，在每次循环中形成剩余字形结构的顺序过渡四角号码；

逆序索引形成模块，用于按所述笔划顺序形成所述汉字字符的逆序减笔划循环，循环次数不超过4次或在最后一次循环中保留一个笔划，在每次循环中形成剩余字形结构的逆序过渡四角号码；

索引连接模块，用于将所述顺序过渡四角号码、所述初始四角号码和所述逆序过渡四角号码依次形成所述汉字字符对应的四角号码字形索引；

语料向量形成模块，用于根据所述四角号码字形索引形成所述汉语语料的基本向量。

7.如权利要求6所述的基于索引数据的自然语言处理系统，其特征在于，还包括：

特征增强装置，用于结合汉语所述字符的所述语义隐性特征向量和所述基本向量形成汉语字符的词向量。