[发明专利]一种基于文本流输入的深度神经网络的分层因素可视化分析方法及装置

说明书

本发明涉及一种基于文本流输入的深度神经网络的可视化分析方法及装置，包括：设计实现一个基于文本输入的分层深度神经网络结构；使用标签相关性传播算法(LRP)得到每一层因素(factor)对于预测结果的权重，进而从中提取重要的因素；对得到的重要因素进行聚类，以得到整体的聚类信息，进而构建因素层次结构；对结果进行可视化，在可视化中，将预测结果与因素聚类结果并列展示，聚类结果可以进一步展开直至最小粒度的因素。采用本发明，通过分层的因素分析方法，可以帮助用户更好的分析深度神经网络的结果和运行机制。

技术领域

本发明涉及深度学习和可视化领域，具体地说，涉及一种基于文本流输入的深度神经网络的分层因素可视化分析方法及装置。

背景技术

深度学习技术正在改观大数据研究领域的预测分析，并且已经在图像和语音识别、知识问答、机器翻译以及其他很多应用领域取得了重大突破。通常，深度学习方法是将输入数据经由多层神经网络结构，如前馈神经网络、卷积神经网络(CNN)、循环神经网络(RNN)等，通过多次的迭代训练，最终得到学习模型。

然而，相对于传统的机器学习方法，如线性回归和支持向量机，深度学习模型有一个众所周知的缺陷，即它难以解释。这个缺陷使得难以理解深度学习模型和进一步分析。在有些领域，例如图像识别，深度学习的原理已经被部分解释。例如，从基本的视觉特征到图案最后到对象的细节特区提取。在大多数其他领域，对于深度学习模型如何工作仍然只有很少的线索。例如在文本预测中，文本输入的使用引入了额外的词向量步骤来将文本集合映射到特征空间，使得解释预测模型更加困难。

以股票预测为例，已经证实金融新闻和推特等文本数据对股市走势的预测是有用的。例如，雅虎金融新闻“Amazon profit beats forecasts”会伴随着亚马逊股价的激增，而“Oil price hits a record high”则引发了对汽车行业的担忧并且削弱了他们在股市的表现。过去的使用大量金融新闻以及深度神经网络的工作已经在每日股价的预测上达到了高于60％的准确率。然而，金融用户(如交易者，投资者等)不能直接运用深度学习的结果。第一，这些用户通常已经建立了他们自己的一系列交易规则，并且不会依赖单一的不可知的预测算法。第二，他们的交易通常是小时级甚至是分钟级的，然而在研究领域，为了和交易的新闻周期一致，基于文本的预测是按天运行的。因此，金融领域用户只有理解了预测模型并且将模型中学到的知识与自己在股市的领域经验相结合，才能从深度学习技术中受益。

为了更好的理解深度学习模型的运行机制，近几年出现了一些深度神经网络的可视化的方法，如Google公司的Tensorflow Playground提供了一个在线可视化工具来帮助非领域专家理解深度学习模型的结构和训练过程。但是之前的工作大多集中于使用卷积神经网络的图像分类领域，来帮助理解神经网络的结构，而没有展示文本流与预测值的关联关系方面的工作。

另外，在可视化展示文本数据与预测结果的相关性时，通常文本数据量很大，在这种情况下，由于计算机显示器屏幕大小有限，不可能同时向用户展示全部文本数据。如果采用按照相关性排序的方式，则只能对文本数据的一部分进行显示，这就缺少了相关文本的整体情况。

发明内容

本发明技术解决问题：克服现有技术的不足，提供一种基于文本流输入的深度神经网络的分层因素可视化分析方法及装置，通过分层因素的展示和分析，可以将输入文本数据与模型预测结果的关系予以展示，并进一步通过添加重要关键词、逐级展开因素以及查看原始文本数据等交互，以帮助用户分析和理解深度学习模型的结果。

本发明技术解决方案：一种基于文本流输入的深度神经网络的分层因素可视化分析方法，包括以下步骤：

(1)设计一个基于文本流输入的深度神经网络的模型，使用训练集和开发集对该模型进行训练，再使用训练好的模型在测试集上进行预测，得到预测结果；