[发明专利]基于卷积神经网络的跨领域情感分析的模型训练方法

说明书

基于卷积神经网络的跨领域情感分析的模型训练方法，属于跨领域情感分类领域，为了解决跨领域情感分析问题，S1.文本预处理；S2.训练词向量模型；S3.跨领域模型迁移；其中，步骤S3：通过源领域训练神经网络模型，对训练好的模型进行迁移，共享模型中卷积核的权重值，使用源领域训练好的卷积核权重提取目标领域中对应的特征，对目标领域的少部分数据进行再次训练，调整之前训练好模型的全连接层权重的参数，效果是实现了对跨领域情感文本进行模型迁移。

技术领域

本发明属于跨领域情感分类领域，涉及一种基于卷积神经网络的跨领域情感分析的模型训练方法。

背景技术

在机器学习算法和数据挖掘的算法中，一个重要的假设就是的训练数据和将来的训练数据，一定在同一特征空间并具有相同的数据分布。然而这样的假设在实际应用案例中不会成立。因此当数据分布发生改变时，大多数的统计模型需要使用新数据的训练样本进行重建。在现实应用中，每天所产生的数据多的令人难以置信，按照当前的数据产生速度，每天都会产生2.5个五万亿字节的数据量，如果重新收集数据，再对模型进行重建这需要很大量的代价，显然这是不可能的。而且这些产生的数据是初始状态的，没有特定的标注，如果人工进行标注，这样的成本显然是无法接受的，因此如果可以降低重新收集训练数据的需求和代价，那是非常不错的。这样可以有效的打破在现有数据中的局限性，而且可以降低很大的成本和时间。

在1995年开始，迁移学习就以不同的名字收到了越来越多的人关注：终身学习，知识迁移，感应迁移，多任务学习，知识整合，前后敏感学习，元学习，增量或累计学习。迁移学习是一种多任务的学习技术，根据已有数据对未知数据进行预测，提高对数据的使用率，降低训练和标注成本是的进行迁移学习的主要目的。多任务学习可以充分利用隐含在多个相关任务的训练信息中的特定领域信息，增加其模型的泛化能力，并且近期加入对抗机制，降低特征权重对整个模型的影响。在2005年美国国防部高级研究计划局的信息处理技术办公室发表的代理公告，给出了迁移学习的新任务：把之前的任务汇总后学习到的知识和技能应用到新的任务中的能力。也就是说的任务不能只局限于训练数据中寻找特性，还要在其基础上提高到未知的应用当中，提升泛化能力。例如：可以发现学习如何辨别梨子可以有助于辨别苹果，类似的，学会了电子琴后将会有助于学习钢琴。人类可以智能的把先前学到的知识应用到新的问题上，并进而快速的更好的解决新的问题。

情感分析是在人们对产品，服务等事物上的情感计算的研究，用于判断用户对事情和事物的评估和态度等等。该领域发展是非常快速，在2000年初以来情感分析成为了自然语言处理中最活跃的研究领域之一的项目，因为产品、服务不断的增多和优化，用户的反馈意见是决定产品好坏的第一要素，现如今如果用户想要购买产品，将不再局限于家人和朋友的意见，更多的是去寻找有用的用户评价或者是网络论坛。而公司可以根据这些评论对自己的产品进行判断，对产品优化改进，看看该产品未来市场是否受到大众的喜爱，而对于公司来说，其产品是多种多样的，用了大量的人力标注了一批数据，训练了一批模型，只适用于在某一特定产品下显然是不行，而且某些产品更新换代后会产生更多样的反馈信息，这时原有的模型也可能不再适用，所以怎样从已有的数据中提升泛化能力，成为的主要研究内容，因此将迁移学习加入到情感分类中，是一项非常有意义的工作。

迁移学习在图像领域和文本领域中的应用展现了优势。Blitzer等提出的SCL方式寻找目标领域和源领域之间的共同特征，Pan等提出了SFA算法将支点与非支点数据在源领域和目标领域建立联系。目前，随着深度学习的快速发展，将深度学习的相关研究方法应用到迁移学习中的研究思路，受到国内外研究人员的重视，取得了很多研究成果，Ganin等在2016年提出了DANN算法将领域自适应学习嵌入到特征表示过程中，所得到的自的前馈神经网络能够直接应用到目标领域。

近些年，迁移学习受到人们广泛关注，最早在迁移学习领域的综述文章给出定义。它将迁移学习方法分为基于样本的迁移学习方法、基于特征的迁移学习方法、基于模型的迁移学习方法和基于关系的迁移学习方法四大类。