[发明专利]一种基于词嵌入的推特情感分类文本处理优化系统

说明书

本发明属于文本处理领域，具体涉及一种基于词嵌入的推特情感分类文本处理优化系统，包括如下模块：文本处理模块、单词嵌入模块、推文嵌入模块、模型培训和验证模块，所述文本处理模块使用传统文本处理方式剔除停止词对推文分类的影响；所述单词嵌入模块使用skip gram模型对特定Twitter上下文进行单词嵌入；所述推文嵌入模块对n维的m个词向量进行平均，得到一个n维tweet向量，并与向量的和、向量的加权平均、根据词的重要性选择添加k个最重要词向量三种聚合方法的性能进行比较；所述模型培训和验证模块使用10×2重嵌套交叉验证方式进行模型训练和验证。

技术领域

本发明属于文本处理领域，具体涉及一种基于词嵌入的推特情感分类文本处理优化系统。

背景技术

目前文本处理步骤通常使用现成的例程和预先构建的单词字典来执行，而没有对领域、应用程序和上下文进行优化。一些包含Twitter口语化单词、表情符号和标签的关键词，通常因为在传统文学语料库中不可用而被删除，但在推特情感分类中有着很大作用。

存在问题或缺陷的原因：目前在推特文本情感分析的文本处理阶段，因为采用预先构建的单词词典的传统方法，使得一些口语化的关键信息被过滤。

发明内容

针对上述一些口语化的关键信息被过滤的问题，本发明提供了一种具有减轻传统方法对情绪类的负面影响的系统。

为了解决上述技术问题，本发明采用的技术方案为：

一种基于词嵌入的推特情感分类文本处理优化系统，包括下列模块：文本处理模块、单词嵌入模块、推文嵌入模块、模型培训和验证模块，各模块之间以并列的方式通信连接，所述文本处理模块使用传统文本处理方式剔除停止词对推文分类的影响；所述单词嵌入模块使用skip gram模型对特定Twitter上下文进行单词嵌入；所述推文嵌入模块对n维的m个词向量进行平均，得到一个n维tweet向量，并与向量的和、向量的加权平均、根据词的重要性选择添加k个最重要词向量三种聚合方法的性能进行比较；所述模型培训和验证模块使用10×2重嵌套交叉验证方式进行模型训练和验证。

所述文本处理模块中，正则表达式从tweet中删除不需要的字符和单词，创建一个停止词的列表，接着从tweets中排除单个字符，最后使用单个表情符号的Unicode转换格式来代替Unicode字符。

所述单词嵌入模块中，将每个单词的语义和上下文属性编码为一个数字向量，再使用skip gram模型对特定Twitter上下文进行单词嵌入。

所述单词嵌入模块中，使用预测学习隐含层中整个语料库词汇的向量作为单词的嵌入，然后在Twitter语料库中给定一个包含N个唯一单词的词汇表，将每个单词用一个N维的独热编码向量表示，然后自动编码器将每个N维输入向量X∈R^N映射到一个较低的K维编码空间，通过学习单词嵌入矩阵W∈R^KXN，可以得到隐藏层Z∈R^K中的编码，最后将Z映射回已知的目标Y向量。

所述推文嵌入模块中，将这种基线方法与向量的和、向量的加权平均、根据词的重要性选择并添加k个最重要的词向量这三种聚合方法的性能进行比较。

所述推文嵌入模块中，设推文中的m个单词形成推文矩阵[w_ij]∈R^m×D，，然后按重要性降序对单词进行排序，选择k个最重要的单词。

所述模型培训和验证模块中，使用最好的超参数值和90％的数据，然后在外部交叉验证中测试忽略测试数据折叠10％，对所有10个数据折叠重复该训练-验证-测试过程，得到用于分类的接收器工作特性曲线AUC值下的10个区域。