[发明专利]一种自适应错词和生词的印尼新闻文本分类方法

权利要求书

1.一种自适应错词和生词的印尼新闻文本分类方法，其特征在于，包括如下步骤：

S1、根据印尼新闻数据训练词到向量的神经网络模型，得到词到向量的映射字典word2vector；

S2、根据所述词到向量的映射字典word2vector，训练自适应错词和生词的词向量生成模型以及字到向量的映射字典char2vector；

S3、根据所述自适应错词和生词的词向量生成模型以及字到向量的映射字典char2vector，利用有标签的新闻语料训练文本分类模型；

所述步骤S3包括如下步骤：

S301、根据所述自适应错词和生词的词向量生成模型以及字到向量的映射字典char2vector，将用于训练的新闻样本进行分词，得到单词序列{word₁,word₂...word_n}，其中，n表示新闻的长度；

S302、将所述单词序列中的每个单词分割成字符序列{char₁,char₂...char_k}，并通过字到向量的映射字典char2vector利用有标签的新闻语料，得到单词的矩阵表示{V₁,V₂...V_k}，其中，V_k表示单词中第k个字符的字向量，k表示单词矩阵中的字符个数；

S303、将每个单词的矩阵表示{V₁,V₂...V_k}输入到自适应错词和生词的词向量生成模型，输出单词的词向量，得到新闻的矩阵表示{x₁,x₂...x_n}，其中，x_n表示新闻的矩阵中第n个词的词向量，n表示新闻的长度；

S304、根据所述新闻的矩阵表示训练印尼新闻文本分类模型，从而完成文本分类模型的训练；

S4、根据所述文本分类模型对待分类新闻进行分词，并利用所述自适应错词和生词的词向量生成模型以及字到向量的映射字典char2vector，得到词向量，从而完成印尼新闻文本的分类。

2.根据权利要求1所述的自适应错词和生词的印尼新闻文本分类方法，其特征在于，所述步骤S1具体为：

根据印尼新闻数据利用印尼新闻语料以及连续词袋模型CBOW训练词向量，得到词到向量的映射字典word2vector，其中，所述词到向量的映射字典word2vector的表达式如下：

word2vector＝{'word₁':X₁,'word₂':X₂...'word_m':X_m}

其中，word_m表示词到向量的映射字典word2vector中的第m个单词，X_m表示单词word_m的词向量，m表示单词个数。