[发明专利]一种基于多语言文本数据分析方法

说明书

本申请涉及自然语言处理领域，特别涉及一种基于多语言文本数据分析方法，包括如下模块：文本数据采集模块、数据处理模块、模型构建模块和模型保存模块，所述文本数据采集模块用于采集文本数据，并对所述文本数据类别进行标注，完成模型的数据集构建；所述数据处理模块用于通过嵌入层将文本中的词条转化为向量以方便进入架构；所述模型构建模块用于构建基于卷积神经网络CNN和长短期记忆网络LSTM的训练模型，通过卷积神经网络提取与语言无关的模型的特征，利用LSTM来捕获长期依赖关系，以便后续数据处理；所述模型保存模块用于当模型的损失函数不再下降，保存模型；本发明能使应用程序通过一种语言遗忘或语言无关的方式来利用情感分析得到的结果。

技术领域

本申请涉及自然语言处理领域，特别涉及一种基于多语言文本数据分析方法。

背景技术

目前社交媒体平台和在线论坛产生的文本数量迅速增加，使企业、政府机构和媒体组织试图对这些丰富的文本数据进行情感分析。这些分析的结果用于调整营销策略、定制产品、安全和其他各种决策，然而大部分的方法都只适用于某一特殊领域或特殊语种。

情感分析的大部分方法都只适用于特定语言编写的文本，这大大限制了对特定人口和地理区域的适用性。

发明内容

基于此，本发明通过研发一种基于卷积神经网络(CNN)和基于长时记忆(LSTM)的体系结构，来完成通用的多语言文本数据情感分析。首先通过词嵌入层映射成向量以便后续提取特征，然后一路用CNN提取n-gram特征后接最大池化层，同时另一路用两层LSTM来捕获长期依赖关系，最后两路一齐进行全连接层，Dropout层，批标准化和Softmax层来防止过拟合以及提高准确率。这样的架构可以实现语言无关的特征提取的同时保证较高的准确率。

本申请公开了以下技术方案：

本申请公开的一种基于多语言文本数据分析方法，包括如下模块：文本数据采集模块、数据处理模块、模型构建模块和模型保存模块，

所述文本数据采集模块用于采集文本数据，并对所述文本数据类别进行标注，完成模型的数据集构建；

所述数据处理模块用于通过嵌入层将文本中的词条转化为向量以方便进入架构；

所述模型构建模块用于构建基于卷积神经网络CNN和长短期记忆网络LSTM的训练模型，通过卷积神经网络提取与语言无关的模型的特征，利用LSTM来捕获长期依赖关系，以便后续数据处理；

所述模型保存模块用于当模型的损失函数不再下降，保存模型。

进一步，文本数据采集模块中，具体包括如下模块：

所述文本数据采集模块中，使用的数据集可以由多种语言的文本内容组成，并被手动标注为为正类、中性类、负面类或无关类。

进一步，数据处理模块中，具体包括如下模块：

所述数据处理模块中，对数据集进行标准的训练集和测试集的分割之后输入模型，模型对于给定的输入文本进行词嵌入，即将每个单词映射到一个d维向量，用来在之后进行学习特征表示，所述特征转发到一个小分类器进行最终的预测。

进一步，模型保存模块中，具体包括如下子模块：

CNN子模块：CNN即卷积神经网络，使用CNN提取与语言无关的模型的特征；

LSTM子模块：LSTM即长短期记忆网络，使用两层LSTM来捕获长期依赖关系，以便后续数据处理；

最大池化层子模块：用来提取特征和降维；

全连接层子模块：整合卷积层或者池化层中具有类别区分性的局部信息.提升整个网络性能；