[发明专利]一种中文词向量建模方法

说明书

本发明属于向量建模领域，尤其是一种中文词向量建模方法，针对现有中文词向量建模方法都只是简单引入部首笔画等信息同时无法对未登录词进行合理的表示，不能够自动更新语句，跟不上时代潮流，智能化程度低，导致使用不便的问题，现提出如下方案，其包括以下步骤：S1：获取中文词语形声特征的语料基础，并对其进行分类，同时对类型进行A类编号；S2：对各类型中的语料基础依次进行B类编号；S3：将编号映射到向量空间中，本发明能够对未登录词进行合理的表示，且能够自动更新语句，跟上时代潮流，智能化程度高，使用方便。

技术领域

本发明涉及向量建模技术领域，尤其涉及一种中文词向量建模方法。

背景技术

词向量已经成为任何基于深度学习自然语言处理系统的重要组成部分。自然语言处理系统在固定长度的密集向量中编码单词和语句，从而通过神经网络极大地改进文本数据的处理。

现有中文词向量建模方法都只是简单引入部首笔画等信息同时无法对未登录词进行合理的表示，不能够自动更新语句，跟不上时代潮流，智能化程度低，导致使用不便。

因此，我们提出了一种中文词向量建模方法用于解决上述问题。

发明内容

本发明提出的一种中文词向量建模方法，解决了现有中文词向量建模方法都只是简单引入部首笔画等信息同时无法对未登录词进行合理的表示，不能够自动更新语句，跟不上时代潮流，智能化程度低，导致使用不便的问题。

为了实现上述目的，本发明采用了如下技术方案：

一种中文词向量建模方法，包括以下步骤：

S1：获取中文词语形声特征的语料基础，并对其进行分类，同时对类型进行A类编号；

S2：对各类型中的语料基础依次进行B类编号；

S3：将编号映射到向量空间中；

S4：针对语料基础构建基础模型；

S5：输入中文词语，检测出语句长度，并检测中文词语中语料基础；

S6：将检测出的语料基础转换为编号，并判断转换结果；

S7：将编号映射到向量空间中实数向量；

S8：对中文词语的语料基础进行分词处理，检测结果；

S9：将分词处理结果输入基础模型中；

S10：完成中文词向量建模。

优选的，所述S1中，语料基础包括汉字简体、汉字繁体、词语拼音、汉字拼音、部首、笔画、五笔输入法。

优选的，所述S1中，获取中文词语形声特征的语料基础，并对其进行分类，同时对类型进行A类编号，并存储至存储器A中。

优选的，所述S2中，对各类型中的语料基础依次进行B类编号，同时将各类型中相互对应的B类编号联系起来，并存储至存储器B中。

优选的，所述S3中，将编号映射到向量空间中，并将结果存储至存储器C中。

优选的，所述S4中，针对语料基础构建基础模型，并将基础模型分别与存储器A、存储器B和存储器C联系起来。

优选的，所述S6中，将检测出的语料基础转换为编号，并判断转换结果，调取存储器A、存储器B和存储器C的存储数据，与转换结果一一对应进行判断。

优选的，所述S8中，建立分词处理数据库，并自动更新，根据分词处理数据库对中文词语的语料基础进行分词处理，检测结果。

优选的，所述S9中，将分词处理结果输入基础模型中，基础模型根据分词处理数据库、存储器A、存储器B、存储器C和语句长度检测自动优化。